自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

TENDCODE的博客

认识自己的无知是认识世界的最可靠的方法。

  • 博客(19)
  • 资源 (2)
  • 收藏
  • 关注

原创 Python操作redis用法详解(三)———Hash基本命令

 1. 单个增加--修改(单个取出)--没有就新增,有的话就修改hset(name, key, value)name对应的hash中设置一个键值对(不存在,则创建;否则,修改)。参数:        name,redis的name;        key,name对应的hash中的key;        value,name对应的hash中的value。注:        h...

2018-09-26 16:51:07 3354

原创 Python操作redis用法详解(二)———String基本命令

 set(name, value, ex=None, px=None, nx=False, xx=False)在Redis中设置值,默认,不存在则创建,存在则修改。参数:        ex,过期时间(秒);        px,过期时间(毫秒);        nx,如果设置为True,则只有name不存在时,当前set操作才执行;        xx,如果设置为True,...

2018-09-25 14:45:54 2515

原创 关于传输层协议单个知识的通俗讲义

 1、下载一个15K的文件,和下载一个28K的文件,时间其实几乎是一样的,但下载一个15K的文件和一个 14K的文件,前者比后者耗时几乎多了一倍。这是因为一个TCP请求窗口在绝大部分情况下是 1480*10/1024=14.45K。(为啥是这个值呢?下边2里会讲。)打个比方,一辆卡车满载量是14.45吨,那么显然在两地之间运送15吨和28吨,时间是差不多的,因为都 需要两次往返,时间只差在...

2018-09-19 16:17:05 2075

原创 Python操作redis用法详解(一)

  redis连接 redis提供两个类Redis和StrictRedis用于实现Redis的命令,StrictRedis用于实现大部分官方的命令,并使用官方的语法和命令,Redis是StrictRedis的子类,用于向后兼容旧版本的redis-py。redis连接实例是线程安全的,可以直接将redis连接实例设置为一个全局变量,直接使用。如果需要另一个Redis实例(or Redi...

2018-09-18 11:08:13 2048

原创 Selenium模拟操作Chrome滑动条的方法分析

 浏览器滚动条操作selenium.common.exceptions.NoSuchElementException大部分原因可能是定位方法(id, name.xpath等查找错误),但是当我们一次次确认或者更换查找方法,这个错误还是会存在,这时候就要考虑是否需要操作浏览器滚动条......PS场景:当我们打开页面,有些元素需要下拉页面才能操作。虽然webdriver提供...

2018-09-04 14:27:59 6040

原创 python3 OrderedDict类(有序字典)

    创建有序字典 import collectionsdic = collections.OrderedDict()dic['k1'] = 'v1'dic['k2'] = 'v2'dic['k3'] = 'v3'print(dic)#输出:OrderedDict([('k1', 'v1'), ('k2', 'v2'), ('k3', 'v3')])  cl...

2018-08-27 16:49:44 4869

原创 初识CentOS(二)——获得超级用户(root)权限

为了安全起见,linux对普通用户权限限制较大,但我们平时还是需要超级用户权限的,这类似于windows里的管理员权限。本文简单介绍如何在centos中获取超级用户权限,各linux发行版类似。一.直接以root用户登录  在登陆界面选择“other”后输入用户名root及密码直接登陆即可。二.普通用户进入超级用户状态  在终端输入su -,然后输入密码即可。三.以普通用户使用...

2018-07-25 23:14:36 7942

原创 scrapy-redis组件配置用例

配置文件# DUPEFILTER_CLASS = "scrapy_redis.dupefilter.RFPDupeFilter"### from scrapy_redis.scheduler import Scheduler# from scrapy_redis.queue import PriorityQueue# SCHEDULER = "scrapy_redis.scheduler...

2018-06-26 11:47:18 2337

原创 虚拟机安装Linux操作系统

什么是linuxLinux(/ˈlɪnəks/ LIN-əks)是一种自由和开放源代码的类UNIX操作系统。定义Linux的组件是Linux内核,该操作系统内核由林纳斯·托瓦兹在1991年10月5日首次发布。严格来讲,术语Linux只表示操作系统内核本身,但通常采用Linux内核来表达该意思。Linux则常用来指基于Linux内核的完整操作系统,包括GUI组件和许多其他实用工具。由于这些支持用户空...

2018-06-25 00:13:05 3211

原创 初识CentOS(一)——安装和选择更新源

什么是CentOSCentOS(Community Enterprise Operating System)是Linux发布版之一,它是来自于Red Hat Enterprise Linux依照开放源代码规定发布的源代码所编译而成。由于出自同样的源代码,因此有些要求高度稳定性的服务器以CentOS替代商业版的Red Hat Enterprise Linux使用。两者的不同,在于CentOS并不包含...

2018-06-17 16:06:26 3464

原创 小话Python的数据结构

正值毕业季,趁巧赶上我也忙着重新修改简历,加入毕业季的找工作热潮。惯例性的,我就会出一些看似很简单,但其实很刁钻的题目,主要巩固巩固基础,看看大家的基础是否都可以用“扎实”来形容。对于Python来说,我习惯性想的一个问题是“Python常用的dict, list, set数据结构有什么区别?”然后就是设定一个场景看看更适合什么结构实现之类的问题。谈不上是难题,但想出来的结果总是令我不太满意。作为...

2018-06-12 00:36:51 3038

原创 python常见排序算法的实现(二)

     快速排序        快速排序是对冒泡排序的一种改进。它的实现原理是通过一趟排序将要排序的数据分割成独立的两部分,其中一部分的所有数据都比另外一部分的所有数据都要小,然后再按此方法对这两部分数据分别进行快速排序,整个排序过程可以递归进行,以此达到整个数据变成有序序列。#coding: utf-8 #!/usr/bin/python import random#随机生成0~1...

2018-06-07 01:16:36 3465

原创 GIT版本控制笔记整理(一)一一一撤销与回滚

1.撤销撤销文件修改checkout以文件作为参数时会修改文件为指定版本的状态。撤销未暂存的文件:git checkout hello.py,git checkout .为所有未暂存文件撤销未commit的文件:git checkout HEAD hello.py撤销已经commit的文件到指定版本,如e316e21:git checkout e316e21 t1.txtgit add t1.t...

2018-06-06 00:12:01 3474

原创 python设计模式之工厂模式概述

    工厂模式是一个在软件开发过程中用来创建对象的设计模式。    工厂模式包涵一个超类。这个超类提供一个抽象化的接口来创建一个特定类型的对象,而不是决定哪个对象可以被创建。    为了实现此方法,需要创建一个工厂类创建并返回。     当程序运行输入一个“类型”的时候,需要创建于此相应的对象。这就用到了工厂模式。在如此情形中,实现代码基于工厂模式,可以达到可扩展,可维护的代码。当增加一个新的类...

2018-06-03 20:07:30 3750

原创 python常见排序算法的实现(一)

        在Python编程的实践中,我们往往会遇到排序问题,比如在对搜索引擎搜索结果的排序(没有排序就没有Google、baidu等搜索引擎的存在),当然,这样的例子数不胜数。我大学中的必修课程《数据结构》也会花大量篇幅讲解排序。之前一段时间,由于需要,我复习了一下排序算法,并用Python实现了各种排序算法,放在这里作为参考,以备不时之需。        最简单的排序有三种:插入排序,选...

2018-06-02 00:19:26 4326

原创 基于Django的python自定义分页模块化实现

1、目的&环境准备    目的:把分页用模块方式实现,然后在需要分页的地方直接调用模块。    环境准备:创建一个Django项目,并从中生成一个App,注册之后配置urls&Models。    配置Urlsfrom django.conf.urls import url, includefrom django.contrib import adminurlpatterns...

2018-05-30 01:20:33 4216

原创 python文件读写、删除、复制的操作总结

1. read三种不同的方式f = open('hello.txt') #'hello.txt'指的是文件的名称while True: text = f.readline() #读取文件指针指向的哪一行内容,然后指针下移 if text: print(text) else: #当文读到最后一行,三个空字符串 print(len(t...

2018-05-13 18:20:38 5033

原创 windows系统下Python虚拟环境的搭建和管理

virtualenv        在python开发中,我们可能会遇到一种情况:就是当前的项目依赖的是某一个版本,但是另一个项目依赖的是另一个版本,这样就会造成依赖冲突。在这种情况之下,我们就需要一个工具能够将这两种或几种不同版本的环境隔离开来,需要哪个版本就切换到哪个版本做为默认版本,让每个版本应用都各自拥有一套“独立”的Python运行环境。而virtualenv就可以解决这种情况,它通过创...

2018-05-10 01:53:13 5257

原创 python3中斐波那契数列算法的实现方法

斐波那契数列的定义斐波那契数列(Fibonacci sequence),又称黄金分割数列、因数学家列昂纳多·斐波那契(Leonardoda Fibonacci)以兔子繁殖为例子而引入,故又称为“兔子数列”,指的是这样一个数列:1、1、2、3、5、8、13、21、34、……斐波那契数列,简单地说,起始两项为0和1,此后的项分别为它的前两项之后,即f(0) = 1,f(1) = 1,f(n) = f(...

2018-05-09 01:17:17 4268 1

用Python写网络爬虫.pdf

《用Python写网络爬虫》作为使用Python来爬取网络数据的杰出指南,讲解了从静态页面爬取数据的方法以及使用缓存来管理服务器负载的方法。此外,本书还介绍了如何使用AJAX URL和Firebug扩展来爬取数据,以及有关爬取技术的更多真相,比如使用浏览器渲染、管理cookie、通过提交表单从受验证码保护的复杂网站中抽取数据等。本书使用Scrapy创建了一个高级网络爬虫,并对一些真实的网站进行了爬取。, 《用Python写网络爬虫》介绍了如下内容:, 通过跟踪链接来爬取网站;, 使用lxml从页面中抽取数据;, 构建线程爬虫来并行爬取页面;, 将下载的内容进行缓存,以降低带宽消耗;, 解析依赖于JavaScript的网站;, 与表单和会话进行交互;, 解决受保护页面的验证码问题;, 对AJAX调用进行逆向工程;, 使用Scrapy创建高级爬虫。, 本书读者对象, 本书是为想要构建可靠的数据爬取解决方案的开发人员写作的,本书假定读者具有一定的Python编程经验。当然,具备其他编程语言开发经验的读者也可以阅读本书,并理解书中涉及的概念和原理。

2018-06-03

自己动手写网络爬虫.pdf

这是一本关于网络爬虫的经典书籍,作者写的很详细,内容易懂不难,适合初学者,进阶者也可以当工具书。 本书介绍了网络爬虫开发中的关键问题与Java实现。主要包括从互联网获取信息与提取信息和对Web信息挖掘等内容。本书在介绍基本原理的同时注重辅以具体代码实现来帮助读者加深理解,书中部分代码甚至可以直接使用。 本书适用于有Java程序设计基础的开发人员。同时也可以作为计算机相关专业本科生或研究生的参考教材。

2018-06-03

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除