python
三乘三年
这个作者很懒,什么都没留下…
展开
-
python3练手:爬糗事百科
python3 练手:爬糗事百科参考原文地址:静觅 » Python爬虫实战一之爬取糗事百科段子https://cuiqingcai.com/990.html糗事百科地址:https://www.qiushibaike.com/hot/page/1/每页显示25则糗事,糗事内容在…内目标:爬取糗事内容并在每按一次回车时显示一则糗事,当按下"q"键时结束转载 2019-03-08 22:29:54 · 233 阅读 · 0 评论 -
初学爬虫小结
初学爬虫小结requests.get 带参数headers 可实现简单反爬soup.find_all 找全部跟参数有关节点生成列表getText() 获取节点文本soup.find(‘span’,attrs = {‘class’,‘next’}).find(‘a’) 获取a标签next_page[‘href’] 获取‘href’属性codecs.ope...原创 2019-03-06 18:51:22 · 311 阅读 · 0 评论 -
python3 练手:爬百度贴吧
python3 练手:爬百度贴吧参考原文地址:https://cuiqingcai.com/993.html贴吧:https://tieba.baidu.com/p/3138733512?see_lz=1&pn=1&red_tag=0231085142目标:获取文章标题,总页数,帖子内容,保存到文本文件。实现:# !/usr/bin/env python# -*- e...原创 2019-03-09 22:26:49 · 191 阅读 · 0 评论 -
(转载)Python正则表达式中的re.S的作用
原文地址https://www.cnblogs.com/huchong/p/8290340.html如果不使用re.S参数,则只在每一行内进行匹配,如果一行没有,就换下一行重新开始,不会跨行。而使用re.S参数以后,正则表达式会将这个字符串作为一个整体,将“\n”当做一个普通的字符加入到这个字符串中,在整体中进行匹配。...转载 2019-03-10 15:07:20 · 227 阅读 · 0 评论 -
(转载)用pymysql代替MySQLdb
原文地址:https://www.cnblogs.com/anpengapple/p/7127580.html连接数据库:conn = pymysql.connect(host=host, user=user, passwd=password, db=db)创建游标:cur = conn.cursor()执行SQL:cur.execute(“INSERT INTO table VALU...转载 2019-03-10 15:16:22 · 548 阅读 · 0 评论 -
python3.4安装pyspider
pip3 install pyspider报错:pycurl有问题首先安装wheelpip3 install wheel访问https://pypi.org/project/pycurl/7.43.0/#files下载相应版本pip3 install 存放目录\pycurl-7.43.0-cp34-none-win32.whlpip3 install pyspider测试成功...原创 2019-03-20 18:45:35 · 298 阅读 · 0 评论 -
python3.4 安装scrapy
安装scrapy需要安装twistedpython3.4版本下载地址http://fstab.net/pypi/simple/twisted/原创 2019-03-21 09:07:21 · 388 阅读 · 0 评论 -
python3 练手:爬取爱问知识人,运用sqlite3保存数据
python3 练手:爬取爱问知识人参考地址:https://cuiqingcai.com/1972.html获取页面:https://iask.sina.com.cn/c/74.html分析:获取每个问题的标题及答案地址,访问答案页面获取问题具体内容,答案内容,作答者,作答时间,构造成字典形式保存进数据库主程序:def main(): datadict = get_html(url...原创 2019-03-12 23:31:19 · 235 阅读 · 0 评论 -
sqlite学习笔记
1、UNIQUE constraint failed: user.userid违反唯一性约定,意味表中已有相同的键值2、rowcount使用Cursor对象执行insert,update,delete语句时,执行结果由rowcount返回影响的行数,就可以拿到执行结果。...原创 2019-03-13 10:54:48 · 137 阅读 · 0 评论