python
逸羽菲
热爱技术,热爱生活。
展开
-
python爬虫之scrapy框架介绍
前言运用request模块已经能爬取百分之90的网站了,那么scrapy框架是为了解决那百分之10的网站吗?答案是否定的。scrapy的目的是为了让爬虫更加的高效,简介使用导入模块pip install scrapy创建项目(mySpider是项目名)scrapy startproject mySpider会出现下面的目录下面来简单介绍一下各个主要文件的作用:...原创 2019-11-18 11:59:47 · 2104 阅读 · 2 评论 -
python学习之正则
前言在Python中需要通过正则表达式对字符串进行匹配的时候,可以使用一个模块,名字为re正则用处很多,比如把爬取的数据抽取出来。re模块操作# 导入re模块import re# 使用match方法进行匹配操作result = re.match(正则表达式,要匹配的字符串)# 如果上一步匹配到数据的话,可以使用group方法来提取数据result.group()re模块...原创 2019-11-10 14:49:41 · 2038 阅读 · 2 评论 -
python之线程
前言python的thread模块是比较底层的模块,python的threading模块是对thread做了一些包装的,可以更加方便的被使用实现线程的方法使用threading模块import threadingimport time# 注意:在写循环的时候for i in range(5):要用括号把数字括起来def sing(): for i in range...原创 2019-11-06 10:20:22 · 2050 阅读 · 2 评论 -
python之TCP编程
前言TCP应该分为服务器和客户端,应该先打开服务器再打开客户端服务器端主要步骤买个手机 (创建套接字 socket)插入手机卡 (为套接字绑定端口和ip bind)将手机设置为正常的响铃状态 (让默认的套接字由主动到被动 listen)等待电话的到来 (等待客户端的连接 accept)第一个while,循环为多个客户端服务, 第二个while,为一个客户端收发多条数据...原创 2019-11-04 19:00:19 · 2261 阅读 · 3 评论 -
python之udp网络通信
接收数据步骤1.创建套接字2.绑定一个本地信息(必须绑定自己电脑的ip和端口)3.接收并打印数据4.关闭套接字def main(): # 1.创建套接字 udp_socket = socket.socket(socket.AF_INET, socket.SOCK_DGRAM) # 2.绑定一个本地信息 local_port = ("", 7788)...原创 2019-11-03 19:12:40 · 2128 阅读 · 1 评论 -
【pyhton】连接数据库及带参数插入数据
前言最近做项目要把新闻的标题,内容,链接提取出来,放入数据库。花了2天半的时间弄这个,踩了一些坑,记录下来。pymysql连接数据库# 打开数据库连接 db = pymysql.connect("47.107.41.60","root","密码","wisdomagriculture" ) # 使用cursor()方法获取操作游标 ...原创 2019-04-10 19:19:42 · 3190 阅读 · 4 评论 -
pycharm在控制台模块导入不成功的解决办法
在我们初次使用pycharm的时候,模块可能总是导不进去,我也遇到了这样的问题,经过了好长时间的研究,我终于发现了一个万能的办法。在pycharm的terminal中使用pip install 模块名几乎都能安装成功,如果安装成功,但是却还没有找到模块,我们需要打开setting,解析器把我标记的内容划√,这样就能使本地的模块与当前的模块同步,就能用啦有些时候,困难不在于过程,而是...原创 2019-03-05 15:52:13 · 8736 阅读 · 0 评论 -
java基础之properties类
properties类简介这个类是util包下的工具类,封装的是map集合,也能够对流进行操作,例如能够实现把集合中的元素存入文件中,也能够文件中的元素读取到集合中。该类的setproperties只能存入字符类型的key和value,可以看到该方法的调用了map集合的put方法,类似于put方法,但是没有加入泛型部分代码public class PropertiesDemo { ...原创 2019-02-25 13:20:13 · 5786 阅读 · 0 评论 -
linux学习之vi编辑器的使用详解
vi —— 终端中的编辑器目标vi 简介打开和新建文件三种工作模式常用命令分屏命令常用命令速查图01. vi 简介1.1 学习 vi 的目的在工作中,要对 服务器 上的文件进行 简单 的修改,可以使用 ssh 远程登录到服务器上,并且使用 vi 进行快速的编辑即可常见需要修改的文件包括:源程序配置文件,例如 ssh 的配置文件 ~/.ssh/config...原创 2019-02-11 08:35:30 · 7441 阅读 · 0 评论 -
实现爬虫的套路
实现爬虫的套路1,准备url准备start_urlurl变化不规律,,总数不确定通过代码提取下一页的urlxpath寻址url地址,部分参数在当前的响应中准备url_list页码明确url地址规律明显2,发送请求获取响应添加随机的User-Agent,反反爬虫添加随机的代理ip,反反爬虫在对方判断出我们是爬虫之后,应该添加更多的headers字段,...原创 2019-01-22 17:01:17 · 5634 阅读 · 0 评论 -
初学matplotlib
1,名词解释:matplotlib是python的一个2D绘图库2,如何导入该库from matplotlib import pyplot as plt注意:自己建的包名不能为matplotlib3,x轴和y轴# 第一个参数代表初始值,第二个是终止值,第三个是步长x = range(2, 26, 2) # 这里要写12个,因为range从2到26,步长为2y = [15, ...原创 2019-01-25 16:30:39 · 5622 阅读 · 0 评论 -
linux如何安装python
1,远程下载(可以去官网下载最新的版本)wget https://www.python.org/ftp/python/3.6.0/Python-3.6.0a1.tar.xz2,解压tar xvf Python-3.6.0a1.tar.xz3,进入解压后的目录之后输入命令./configure4,### 4,安装make install或make...原创 2019-01-25 09:58:41 · 8065 阅读 · 0 评论 -
window环境python如何安装模块,以及ipython的使用
默认python环境已经装好1,检测更新python的版本python -m pip install --upgrade pip2,安装ipythonpip install ipython[all]3,打开jupyteripython自带jupyter使用jupyter notebook命令能够打开jupyter编辑器,在里面能够写代码,编辑运行保存等操作...原创 2019-01-24 21:34:45 · 6238 阅读 · 0 评论