python
Iam柒年
柒年哦
展开
-
文字去掉空格,换行
一、去除空格" xyz ".strip() # returns "xyz" " xyz ".lstrip() # returns "xyz " " xyz ".rstrip() # returns " xyz" " x原创 2018-08-11 21:54:04 · 1008 阅读 · 0 评论 -
淘宝美食获取
代码思路非常清晰,值得借鉴。# coding=utf-8import refrom selenium import webdriverfrom selenium.common.exceptions import TimeoutExceptionfrom selenium.webdriver.common.by import Byfrom selenium.webdriver.support原创 2017-07-07 11:34:27 · 248 阅读 · 0 评论 -
selenium+爬取正能量社区mm131套图链接存到数据库并下载到本地
爬取一个图集里面所有图片,目标url:http://www.mm131.com/xinggan/ 代码速度一般,效果如下图:原创 2018-08-10 21:35:19 · 140343 阅读 · 1 评论 -
pycharm执行unittest测试时,无法输出测试报告总结
去掉pycharm里面的运行模式点击减号3,点击加号4,添加python执行文件原创 2018-07-24 20:21:01 · 2279 阅读 · 0 评论 -
PyQuery库学习
PyQuery库学习(原文)爬虫pyquery:一个类似jquery的python库pyquery允许您在xml文档上进行jquery查询。API尽可能与jquery类似。pyquery使用lxml进行快速xml和html操作。参考:手册1、初始化处理 html = ''' <div id="wrap"> <ul class="s_from"&...原创 2018-07-22 15:29:24 · 309 阅读 · 0 评论 -
python安装whl文件方法
https://www.lfd.uci.edu/~gohlke/pythonlibs/#pandas#号后面填库的名称即可原创 2018-07-09 21:53:17 · 2386 阅读 · 0 评论 -
XML文件解析
XML文件解析(原文)python文件操作网页基本知识,HTML和XML一、HTML:HTML即Hyper Text Markup Language,指的是超文本标记语言(不是编程语言) 超文本标记语言的结构包括“头”部分(英语:Head)、和“主体”部分(英语:Body),其中“头”部提供关于网页的信息,“主体”部分提供网页的具体内容。 标记符:HTML,说明该文件是用超文...原创 2018-07-19 21:04:11 · 2739 阅读 · 0 评论 -
python3爬虫之猫眼电影Toop100获取
python3爬虫之猫眼电影Toop100获取import requestsfrom requests.exceptions import RequestExceptionimport reimport jsonfrom multiprocessing import Pooldef get_one_page(url): try: reseponse = requests原创 2017-07-04 09:31:46 · 724 阅读 · 0 评论 -
pyspider学习
参考:源码中文网址:pyspider中文网英文网址:快速开始注意使用anaconda来安装,python3.7能安装但是启动时会出错打开anaconda 命令界面 ,安装 pip install pyspider以及pip install distributed ,运行 pyspider all即可 ,进入http://localhost:5000/,创建任务。...原创 2018-10-09 17:47:29 · 399 阅读 · 2 评论 -
街拍美图获取
街拍图片的获取。在网上搜索到一个项目,获取头条的街拍美图,于是跟着一起写下了这些代码,代码的思路很简明,下一步是如何将这个项目应用到更多的场景原创 2017-07-07 09:14:59 · 960 阅读 · 0 评论 -
urlib模块介绍
uril模块介绍(原文)爬虫爬虫所需要的功能,基本上在urllib中都能找到,学习这个标准库,可以更加深入的理解后面更加便利的requests库。首先: * 在Pytho2.x中使用import urllib2——-对应的,在Python3.x中会使用import urllib.request,urllib.error * 在Pytho2.x中使用import urllib——-对应的,在Pyth...原创 2018-07-04 21:51:03 · 883 阅读 · 0 评论 -
Beautifulsoup4库学习
Beautifulsoup4库学习(原文)爬虫Beautiful Soup一个的英文可以从HTML或XML文件中提取数据的Python库它能够通过你喜欢的转换器实现惯用的文档导航,查找,修改文档的方式。参考:中文文档HTML演示代码 html_doc = """ <html><head><title>The Dormouse'...原创 2018-07-20 21:17:05 · 7060 阅读 · 0 评论 -
Requests库的基本用法
Request库的基本用法爬虫首先 Request 库基本方法介绍方法说明requests.request()构造一个请求,支撑一下各方法的基础方法requests.get()获取HTML网页的主要方法,对应于HTTP的GETrequests.head()获取HTML网页头信息的方法,对应于HTTP的HEADrequests.post()向HTML网页提交POST请求的方法,对应于HTTP的POS...原创 2018-07-06 11:33:54 · 21435 阅读 · 0 评论 -
pycharm中Terminal板块的快捷键
Terminal快捷键 功能Tab 自动补全Ctrl+a 光标移动到开始位置Ctrl+e 光标移动到最末尾Ctrl+k 删除此处至末尾的所有内容Ctrl+u 删除此处至开始的所有内容Ctrl+d 删除当前字符Ctrl+h 删除当前字符前一个字符Ctrl+w 删除此处到左边的单词Ctrl+y 粘贴由 Ctrl+u , Ctrl+d , Ctrl+w 删除的单词Ctrl+l 相当于...转载 2019-04-08 21:51:31 · 21502 阅读 · 2 评论 -
python爬虫随机获取User-Agent
第一种,随机 random 导入:import randomdef getheaders(): user_agent_list = [ \ "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/22.0.1207.1 Safari/537.1" \ ...原创 2018-10-09 11:36:00 · 18373 阅读 · 2 评论 -
网站
pycharm使用手册:https://www.jetbrains.com/help/pycharm/viewing-code-coverage-results.html原创 2018-08-17 16:52:57 · 190 阅读 · 0 评论 -
pycharm中使用jupyter使用
步骤 1、安装Jupyter pip install jupyter 2、 新建一个IPython文件 3、在Terminal里启动Jupyter Notebook 2、 编写程序 随便写点什么测试一下,应该得到的结果是这样的: print(1) 点击运行 填入上面的地址即可...原创 2018-08-17 15:12:21 · 40527 阅读 · 5 评论 -
python2和python3共存
地址:https://www.cnblogs.com/zhengyihan1216/p/6011640.html 地址:https://www.cnblogs.com/yyds/p/6080826.html原创 2018-08-18 10:28:30 · 152 阅读 · 0 评论 -
python中列表的操作
1、列表循环 2、单列表求和 3、多列表求集原创 2018-08-15 21:28:33 · 179 阅读 · 0 评论