qq_41346335的博客

前言 运用request模块已经能爬取百分之90的网站了，那么scrapy框架是为了解决那百分之10的网站吗？ 答案是否定的。scrapy的目的是为了让爬虫更加的高效，简介 使用 导入模块 pip install scrapy 创建项目(mySpider是项目名) scrapy startproject mySpider 会出现下面的目录 下面来简单介绍一下各个主要文件的作用： ...

前言 在Python中需要通过正则表达式对字符串进行匹配的时候，可以使用一个模块，名字为re 正则用处很多，比如把爬取的数据抽取出来。 re模块操作 # 导入re模块 import re # 使用match方法进行匹配操作 result = re.match(正则表达式,要匹配的字符串) # 如果上一步匹配到数据的话，可以使用group方法来提取数据 result.group() re模块...

前言 python的thread模块是比较底层的模块，python的threading模块是对thread做了一些包装的，可以更加方便的被使用 实现线程的方法 使用threading模块 import threading import time # 注意：在写循环的时候for i in range(5):要用括号把数字括起来 def sing(): for i in range...

前言 TCP应该分为服务器和客户端，应该先打开服务器再打开客户端 服务器端 主要步骤 买个手机 (创建套接字 socket) 插入手机卡 (为套接字绑定端口和ip bind) 将手机设置为正常的响铃状态 (让默认的套接字由主动到被动 listen) 等待电话的到来 (等待客户端的连接 accept) 第一个while，循环为多个客户端服务， 第二个while，为一个客户端收发多条数据 ...

接收数据 步骤 1.创建套接字 2.绑定一个本地信息（必须绑定自己电脑的ip和端口） 3.接收并打印数据 4.关闭套接字 def main(): # 1.创建套接字 udp_socket = socket.socket(socket.AF_INET, socket.SOCK_DGRAM) # 2.绑定一个本地信息 local_port = ("", 7788) ...

前言 最近做项目要把新闻的标题，内容，链接提取出来，放入数据库。花了2天半的时间弄这个，踩了一些坑，记录下来。 pymysql连接数据库 # 打开数据库连接 db = pymysql.connect("47.107.41.60","root","密码","wisdomagriculture" ) # 使用cursor()方法获取操作游标 ...

在我们初次使用pycharm的时候，模块可能总是导不进去，我也遇到了这样的问题，经过了好长时间的研究，我终于发现了一个万能的办法。 在pycharm的terminal中使用 pip install 模块名 几乎都能安装成功， 如果安装成功，但是却还没有找到模块，我们需要打开setting，解析器 把我标记的内容划√，这样就能使本地的模块与当前的模块同步，就能用啦 有些时候，困难不在于过程，而是...

properties类简介 这个类是util包下的工具类，封装的是map集合，也能够对流进行操作，例如能够实现把集合中的元素存入文件中，也能够文件中的元素读取到集合中。 该类的setproperties只能存入字符类型的key和value，可以看到该方法的调用了map集合的put方法，类似于put方法，但是没有加入泛型 部分代码 public class PropertiesDemo { ...

vi —— 终端中的编辑器 目标 vi 简介 打开和新建文件 三种工作模式 常用命令 分屏命令 常用命令速查图 01. vi 简介 1.1 学习 vi 的目的 在工作中，要对 服务器 上的文件进行 简单 的修改，可以使用 ssh 远程登录到服务器上，并且使用 vi 进行快速的编辑即可 常见需要修改的文件包括： 源程序 配置文件，例如 ssh 的配置文件 ~/.ssh/config ...

实现爬虫的套路 1，准备url 准备start_url url变化不规律，，总数不确定 通过代码提取下一页的url xpath 寻址url地址，部分参数在当前的响应中 准备url_list 页码明确 url地址规律明显 2，发送请求获取响应 添加随机的User-Agent，反反爬虫 添加随机的代理ip，反反爬虫 在对方判断出我们是爬虫之后，应该添加更多的headers字段，...

1，名词解释： matplotlib是python的一个2D绘图库 2，如何导入该库 from matplotlib import pyplot as plt 注意：自己建的包名不能为matplotlib 3，x轴和y轴 # 第一个参数代表初始值，第二个是终止值，第三个是步长 x = range(2, 26, 2) # 这里要写12个，因为range从2到26，步长为2 y = [15, ...

1，远程下载（可以去官网下载最新的版本） wget https://www.python.org/ftp/python/3.6.0/Python-3.6.0a1.tar.xz 2，解压 tar xvf Python-3.6.0a1.tar.xz 3，进入解压后的目录之后输入命令 ./configure 4，### 4，安装 make install 或 make ...

默认python环境已经装好 1，检测更新python的版本 python -m pip install --upgrade pip 2，安装ipython pip install ipython[all] 3，打开jupyter ipython自带jupyter 使用 jupyter notebook 命令能够打开jupyter编辑器，在里面能够写代码，编辑运行保存等操作 ...