useless
szuhuanggang
这个作者很懒,什么都没留下…
展开
-
python3 pip 安装 Pattern出错
pip3 install Pattern出现如下错误:主要是这一句:OSError: mysql_config not found原因是centos需要安装mysql相关的一些依赖包,执行如下命令。然后就可以正常安装了yum install mysql-devel gcc gcc-devel python-devel...原创 2019-11-22 00:01:06 · 1722 阅读 · 0 评论 -
win10平台上安装与运行scrapy出错
参考:https://blog.csdn.net/gulang03/article/details/82564402直接输入以下命令会报错:pip install scrapy错误节选:ERROR: Failed building wheel for Twistederror: [WinError 3] 系统找不到指定的路径。: 'C:\\Program Files (x8...原创 2019-07-11 10:13:05 · 329 阅读 · 0 评论 -
python 爬虫 beautifulsoup
参考:https://www.icourse163.org/course/BIT-1001870001https://blog.csdn.net/u013378306/article/details/54409013beautifulsoupfrom bs4 import BeautifulSoupsoup = BeautifulSoup('<p>data&...原创 2019-07-11 20:51:43 · 124 阅读 · 0 评论 -
python使用requests和loginform模拟登陆网站
代码如下:import requestsfrom loginform import fill_login_formfrom bs4 import BeautifulSoup as bsurl = 'xxx'user = 'xxx'passwd = 'xxx'session = requests.Session()headers = {} # 有些网站可能需要预设...原创 2019-07-12 11:10:58 · 1074 阅读 · 0 评论 -
python的各种库介绍
colorama:colorama是一个python专门用来在控制台、命令行输出彩色文字的模块,可以跨平台使用。colorama内部模块:Fore是针对字体颜色,Back是针对字体背景颜色,Style是针对字体格式。Fore: BLACK, RED, GREEN, YELLOW, BLUE, MAGENTA, CYAN, WHITE, RESET.Back: BLACK, RED...原创 2019-07-10 11:36:17 · 1300 阅读 · 0 评论 -
在linux上部署jupyter notebook
首先在linux上安装好python及相应的包,然后进行下面的操作。编辑配置文件:/root/.jupyter/jupyter_notebook_config:如果没有,就先生成:jupyter notebook --generate-configc.NotebookApp.allow_remote_access = Truec.NotebookApp.ip = '*'...原创 2019-07-22 14:39:29 · 884 阅读 · 0 评论 -
python总结
参考:https://www.runoob.com/python/python-object.htmlpython变量以单下划线开头_foo的代表不能直接访问的类属性,需通过类提供的接口进行访问,不能用from xxx import *而导入。以双下划线开头的__foo代表类的私有成员。以双下划线开头和结尾的__foo__代表 Python 里特殊方法专用的标识...原创 2019-06-11 21:26:38 · 202 阅读 · 0 评论 -
python
参数:位置参数关键字参数:类似键值对。在函数调用中,关键字参数必须跟随在位置参数的后面。当存在一个形式为**name的正式形参时,它会接收一个字典,其中包含除了与正式形参相对应的关键字参数以外的所有关键字参数。一个形式为*name,接收一个包含除了正式形参列表以外的位置参数的元组循环的技巧当在字典中循环时,用items()方法可将关键字和对应...原创 2019-06-13 21:59:12 · 118 阅读 · 0 评论 -
python编辑器
交互式编程推荐:都可以通过pip来安装ipythonjupyter使用参考:https://www.cnblogs.com/chenqionghe/p/10163190.html集成开发:pycharm原创 2019-06-13 10:45:43 · 522 阅读 · 0 评论 -
zookeeper的python包kazoo学习
建立连接:from kazoo.client import KazooClienthost = 'localhost:2181'zk = KazooClient(host)zk.start()xxxzk.stop()获得某个节点的信息,返回一个元组:zk.get('/')(b'', ZnodeStat(czxid=0, mzxid=4, ctime=0, m...原创 2019-07-26 18:03:49 · 634 阅读 · 0 评论 -
python与时间相关的库
主要是time与datetime。timeimport timedir(time)['__doc__', '__name__', '__package__', 'accept2dyear', 'altzone', 'asctime', 'clock', 'ctime', 'daylight', 'gmtime', 'localtime', 'mktim...原创 2019-08-08 16:39:07 · 243 阅读 · 0 评论 -
python相关操作
遍历文件( os.listdir):def getFiles(path): list = os.listdir(path) #列出文件夹下所有的目录与文件 for i in range(0,len(list)): path_ = os.path.join(path,list[i]) if os.path.isfil...原创 2019-10-29 22:50:40 · 77 阅读 · 0 评论 -
python爬虫,自动登录
使用requests模块使用requests.session()创建一个会话。然后使用会话进行链接请求。如果把cookies或headers放进请求参数中,在session进行第一次请求后,这些参数不会自动添加到后续的请求中。因此,为了是参数在session中共用,应该将其添加到session上。session = requests.session()session.cookies...原创 2019-11-10 17:22:37 · 1533 阅读 · 0 评论 -
爬虫 scrapy+beautifulsoup的一些小知识点
scrapy中的response的编码:response.encoding。如果出现编码问题,可以使用以下语句:def news_parse_3(self, response): soup = BeautifulSoup(response.body.decode(encoding=response.encoding, errors='ignore'), 'html.pars...原创 2019-07-15 10:03:01 · 970 阅读 · 0 评论 -
scrapy 笔记
Scrapy不是一个函数功能库,而是一个爬虫框架。爬虫框架是实现爬虫功能的一个软件结构和功能组件集合。 爬虫框架是一个半成品,需要用户实现部分代码。Engine控制各模块数据流,不间断从Scheduler处获得爬取请求,直至请求为空。Downloader Middleware :修改、丢弃、新增请求或响应。Spider Middleware:修改、丢弃、新增请求或爬取项。Spi...原创 2019-10-28 22:01:41 · 154 阅读 · 0 评论