- 博客(69)
- 资源 (68)
- 问答 (1)
- 收藏
- 关注
RSS订阅原创 Scrapy 模块不存在的错误（ModuleNotFoundError: No module named xxx）
实现的案例：scrapy 图片下载（一）：三行代码实现scrapy图片下载http://www.scrapyd.cn/example/174.html1. 错误1：没有模块直接Pycharm中运行爬虫主程序代码，会提示以下错误line 17, in <module> from ImageSpider.items import ImagespiderItemModul...
2019-01-30 19:44:48
9082
2
原创 Python import 上级目录中的模块
一般加上这段代码即可import syssys.path.append("..") #把上级目录加入到变量中from module_name import class_name或者直接模块import module_name参考博文：https://blog.csdn.net/songbinxu/article/details/80289489Python父目录、子目录相互调用...
2019-01-30 19:23:14
5640
原创 Python3网络爬虫教程19——分布式爬虫Scrapy实例（爬取多个页面）
上接：Python3网络爬虫教程18——分布式爬虫Scrapy实例（爬取一个页面）https://blog.csdn.net/u011318077/article/details/86692598先补充几个常用命令;7. Scrapy项目常用命令先打开CMD命令，CD切换到要创建的项目的文件夹下scrapy startproject（创建项目）创建项目之后切换到项目文件夹下...
2019-01-29 17:13:47
2146
原创 Python3网络爬虫教程18——分布式爬虫Scrapy实例（爬取一个页面）
上接：Python3网络爬虫教程17——分布式爬虫Scrapy基础https://blog.csdn.net/u011318077/article/details/866924514. 简单实例（爬取一条名言）创建一个简单的爬虫实例第一步：创建一个scrapy项目创建命令：scrapy startproject mingyan2(mingyan2是我取的项目文件夹名称)打开C...
2019-01-29 17:07:51
1872
1
原创 Python3网络爬虫教程17——分布式爬虫Scrapy基础
上接：Python3网络爬虫教程16——动态HTML（Selenium + Firefox/Chrome的使用）https://blog.csdn.net/u011318077/article/details/866923541. Scrapy介绍爬虫框架scrapy 最常用pyspider 一个小框架crawleyscrapy框架介绍官网:http://www...
2019-01-29 17:01:15
840
1
原创 Python中【yield】使用浅析
您可能听说过，带有 yield 的函数在 Python 中被称之为 generator（生成器），何谓 generator ？我们先抛开 generator，以一个常见的编程题目来展示 yield 的概念。如何生成斐波那契數列斐波那契（Fibonacci）數列是一个非常简单的递归数列，除第一个和第二个数外，任意一个数都可由前两个数相加得到。用计算机程序输出斐波那契數列的前 N 个数是一个非常...
2019-01-29 16:29:30
202
原创 Python3——format——格式化函数的使用（格式化数字的方法）
Python2.6 开始，新增了一种格式化字符串的函数 str.format()，它增强了字符串格式化的功能。基本语法是通过 {} 和 : 来代替以前的 % 。format 函数可以接受不限个参数，位置可以不按顺序。**实例1：默认位置参数**>>>"{} {}".format("hello", "world") # 不设置指定位置，按默认顺序'hello worl...
2019-01-28 22:10:22
13966
1
原创 Python3中最常用的字符串拼接方式
Python3中字符串拼接方式有很多种，但是最常用的主要为以下两种1. 使用%进行拼接（推荐使用）name = input("Please input your name: ")age = input("Please input your age: ")sex = input("Please input your sex: ")print("Information of \n\tName...
2019-01-28 21:52:37
1079
原创 Python3中字符串、列表、数组的转换方法
list以及array是python中经常会用到的数据类型，当需要对list以及array进行文件的读写操作的时候，由于write函数参数需要的是一个str，所以这时就需要对list或者array进行str的转换了。list和array的不同：在进行转换之间先研究下python中list和array（np.array）的不同：1、list是python中内置的数据类型，其中的数据的类型可以不...
2019-01-28 21:38:53
4161
原创 Python文件打开的几种方式
访问模式 说明r 以只读方式打开文件。文件的指针将会放在文件的开头。这是默认模式。w 打开一个文件只用于写入。如果该文件已存在则将其覆盖。如果该文件不存在，创建新文件。a 打开一个文件用于追加。如果该文件已存在，文件指针将会放在文件的结尾。也就是说，新的内容将会被写入到已有内容之后。如果该文件不存在，创建新文件进行写入。rb 以二进制格式打开一个文件用于只读。文件指针将会放在文件的...
2019-01-27 16:38:21
8792
原创 Scrapy安装说明及如何避坑
Scrapy安装一般都会提示以下错误：Microsoft Visual C++ 14.0 is required错误产生的原因，电脑没有安装C++库Scrapy安装需要安装一个 Twisted包，但是最新的 Twisted包已经不是.whl文件了，已经变成了变成了一个tar.bz2文件，见下图pip安装过程pip安装时就可以知道你电脑python可以使用的最新的包的版本，找到对应版本下载...
2019-01-26 22:17:43
231
1
原创 Python安装官方whl包和tar.gz包的方法（使用清华源pip安装）
Python安装官方whl包和tar.gz包的方法(推荐)。分享给大家，也给大家做个参考。Windows环境：安装whl包：pip install wheel -> pip install **.whl安装tar.gz包：cd到解压后路径,python setup.py installLinux环境：安装whl同上安装tar.gz:cd到解压后路径,./configure -&g...
2019-01-26 21:57:18
7423
原创 Python3 whl包、tar包、tar.gz包的区别及安装方法（附Python whl包下载地址）
Python whl包、tar包、tar.gz包的区别在使用python时经常可以发现某个lib有whl、tar、tar.gz等格式的包。whl包：已经编译的包，类似于exe文件；tar包：源文件，只是打包在一起，还没有编译；tar.gz包：源文件，压缩并打包在一起，还没有编译。如果环境挺充足，可以用tar包或者tar.gz包；如果环境欠缺，比如缺少某些编译环境，或者想要快速且稳定，可...
2019-01-26 21:32:26
5804
1
原创 Scrapy安装提示错误Microsoft Visual C++ 14.0 is required的解决方法
提示以下错误的原因：Microsoft Visual C++ 14.0 is requiredScrapy安装需要安装一个 Twisted包，但是最新的 Twisted包已经不是.whl文件了，已经变成了变成了一个tar.bz2文件，安装过程需要C++进行类似编码过程，但是安装Microsoft Visual有点大，不想安装，就去找Twisted的whl文件，该网站有最新的Twi...
2019-01-26 21:11:25
664
原创 Python安装提示错误：microsoft visual c++ 14.0 is required的解决方法（比如Scrapy）
Python采用PIP安装命令安装有时候会提示microsoft visual c++ 14.0 is required主要是由于安装包不是.whl格式，pip无法编码识别，需要Microsoft Visual C++进行编码解决方法1:对于常用的有些包可以直接去下载.whl源文件到本地，然后pip install 文件路径安装。但是有些包更新升级后已经没有whl格式文件了，变成了一个t...
2019-01-26 20:53:08
2340
原创 Tesseract-OCR-4.0.0 安装和配置环境变量（附图像识别简单案例）
Win10环境安装tesseract-ocr4.0.0并配置环境变量1. 下载tesseract最新版tesseract最新版下载地址：https://github.com/UB-Mannheim/tesseract/wikiwindows系统选择32位或者64位下载即可其它操作系统下面网址选择相应的版本https://github.com/tesseract-ocr/tesserac...
2019-01-26 19:25:28
6085
10
原创 Selenium+Chrome模拟百度搜索和截图
Selenium+Firefox/Chrome安装及使用参考以下博文https://blog.csdn.net/u011318077/article/details/86644430Selenium+Chrome模拟百度搜索和截图# 通过WebDriver操作进行查找# 无头浏览器，支持无浏览器操作from selenium import webdriverimport time...
2019-01-26 11:58:18
561
原创 Selenium+PhantomJS推荐使用Firefox或者Chrome的报错解决方法
今天在实现Selenium+PhantomJS案例时出现以下报错1未设置环境变量路径，然后按照网上方法有两种解决方式：方法1：把下载的PhantomJS文件夹中的PhantomJS.exe程序放在Python.exe(环境所选的解释器的位置)同一个目录下。方法2：添加PhantomJS.exe所在位置的绝对路径,类似下面，复制自己的路径名放到引号中Webdriver.Phantomjs(...
2019-01-25 12:58:55
1607
原创 Selenium with Python 中文翻译文档
Selenium with Python中文翻译文档目录安装1.1. 安装1.2. 下载 Python bindings for Selenium1.3. Windows用户的详细说明1.4. 下载 Selenium 服务器快速入门2.1. 简单用例2.2. 示例详解2.3. 用Selenium写测试用例2.4. 逐步解释测试代码2.5. 使用远程 Selenium We...
2019-01-24 23:21:31
874
原创 Python3网络爬虫教程15——BeautifulSoup4中的编码，格式化，解析器的区别
上接：Python3网络爬虫教程14——BeautifulSoup4之搜索文档树https://blog.csdn.net/u011318077/article/details/866334335.5. 格式化输出prettify() 方法将Beautiful Soup的文档树格式化后以Unicode编码输出,每个XML/HTML标签都独占一行如下示例markup = ‘...
2019-01-24 21:21:56
1057
原创 Python3网络爬虫教程14——BeautifulSoup4之搜索文档树
上接：Python3网络爬虫教程13——BeautifulSoup4基本使用及遍历文档树https://blog.csdn.net/u011318077/article/details/866333925.3. 搜索文档树5.3.1. 过滤器find_all()find_all() 方法将返回文档中符合条件的所有tag过滤器过滤器可以被用在tag的name中,节点的...
2019-01-24 21:19:46
332
原创 Python3网络爬虫教程13——BeautifulSoup4基本使用及遍历文档树
上接：Python3网络爬虫教程12——页面解析及正则表达式的使用https://blog.csdn.net/u011318077/article/details/866333305. BeautifulSoup4使用BeautifulSoup4官方文档地址：https://beautifulsoup.readthedocs.io/zh_CN/v4.4.0/#id7几个常用提取信息...
2019-01-24 21:16:07
939
原创 Python3网络爬虫教程12——页面解析及正则表达式的使用
上接：Python3网络爬虫教程11——Requests包（HTTP for Humans）https://blog.csdn.net/u011318077/article/details/866332611. 页面解析和数据提取简介结构数据：先有的结构，再谈数据JSON文件JSON Path转换成Python类型进行操作（json类）XML文件转化为Python类...
2019-01-24 21:10:43
274
原创 Python3网络爬虫教程11——Requests包（HTTP for Humans）
上接：Python3网络爬虫教程10——ajax异步请求（爬取豆瓣电影数据 ）https://blog.csdn.net/u011318077/article/details/866331967. RequestsHTTP for Humans-献给人类，更好用，更简洁继承了urllib的所有特性底层使用的是urllib3开源地址：https://github.com/reques...
2019-01-24 21:05:55
427
原创 Python3网络爬虫教程10——ajax异步请求（爬取豆瓣电影数据 ）
上接：Python3网络爬虫教程9——有道在线翻译项目（破解JS加密过程）https://blog.csdn.net/u011318077/article/details/865921607. ajax异步请求异步请求一定会有url，请求方法，可能有数据一般使用json格式豆瓣排行榜-剧情：https://movie.douban.com/typerank?type_...
2019-01-24 21:01:15
996
原创 必须掌握的八个DOS命令
必须掌握的八个DOS命令!**一,ping**它是用来检查网络是否通畅或者网络连接速度的命令。作为一个生活在网络上的管理员或者黑客来说,ping命令是第一个必须掌握的DOS命令,它所利用的原理是这样的:网络上的机器都有唯一确定的IP地址,我们给目标IP地址发送一个数据包,对方就要返回一个同样大小的数据包,根据返回的数据包我们可以确定目标主机的存在,可以初步判断目标主机的操作系统等。下面就来...
2019-01-20 17:01:37
254
原创 互联网——常见英文缩写及其含义
VR AR MR CRVR：Virtual Reality即虚拟现实（简称VR）AR:AugmentedReality，增强现实MR Mixed Reality，混合现实，又称Hybrid RealityCR Cinematic Reality，影像现实 其实也归类为MRB2BB2B：（Business To Business）就是企业对企业的电子商务阿里巴巴(1688.com)批...
2019-01-20 16:59:08
8528
原创 啥是佩奇？Python3大战小猪佩奇
啥是佩奇最近火了啥是佩奇？乍一听很好笑，但笑完之后又很心酸。什么是佩奇，这个问题并不只有影片中的李玉宝奇怪，可能我们身边的父母和老人都有过这种类似的问题。小时候，爸爸妈妈是我们的港湾。长大后，我们是爸爸妈妈的大树。“看过影片之后，我决定这个周末就回家。”长期在大连工作的沈阳26岁小伙曲鸿鹏说。啥是佩奇？佩奇是爷爷对孙子的爱，也是连接代际之间的一座桥梁，更是老人逢年过节对孩子的翘首以盼...
2019-01-20 10:51:43
892
原创 Python3网络爬虫教程8——有道在线翻译项目（JS加密）
上接：Python3网络爬虫教程7——SSL数字证书https://blog.csdn.net/u011318077/article/details/865381166. js加密（有道在线翻译项目）有的反爬虫策略采用js对需要传输的数据进行加密处理（通常是取md5值）经过加密，传输的就是密文，但是加密函数或者过程一定是在浏览器完成，也就是一定会把代码（js代码）暴露给使用者通过阅...
2019-01-18 12:59:38
514
原创 Python3网络爬虫教程7——SSL数字证书
上接：Python3网络爬虫教程6——cookie & session（cookie的属性，保存及模块的使用）https://blog.csdn.net/u011318077/article/details/865380975. SSL数字证书SSL就是指遵守SSL安全套阶层协议的服务器数字证书（SecureSocketLayer)理论上网址带有https:都是安全的，带有SS...
2019-01-18 12:56:37
1507
原创 Python3网络爬虫教程6——cookie & session（cookie的属性，保存及模块的使用）
上接：Python3网络爬虫教程5——ProxyHandler处理（代理服务器和代理IP）https://blog.csdn.net/u011318077/article/details/865380424. cookie & session产生的原因：由于HTTP协议没有记忆性，人们为了弥补这个缺陷，所采用的一个补充协议cookie是发放给用户（即http浏览器）的一段...
2019-01-18 12:54:15
1230
原创 Python3网络爬虫教程5——ProxyHandler处理（代理服务器和代理IP）
上接：Python3网络爬虫教程4——UserAgent的使用(用户伪装)(附常用的UserAgent值清单[https://blog.csdn.net/u011318077/article/details/86508095]3. ProxyHandler处理（代理服务器）使用代理IP，是爬虫的常用手段服务器有反爬虫手段，使用代理就是反反爬虫获取代理服务器的地址：www.xici...
2019-01-18 12:45:44
1114
原创 Python3—爬虫实现有道在线翻译—(常见错误汇总及解决方法）
今天尝试了一个Python3的爬虫项目：Python3实现有道在线翻译代码实现过程中遇到一些问题，经过研究都找到了对应的解决方法，先将遇到的问题和解决方法汇总如下，供大家参考：有道在线翻译是POST实现的，百度翻译是GET实现的。有道翻译每次翻译的时候，最上方地址栏中的地址时固定不变的，可以猜测有道是通过post请求实现翻译功能的。（注：判断post与get请求最显著的区别就是url地址是...
2019-01-18 10:51:18
3179
4
原创 Pycharm中批量添加单引号，双引号的方法（爬虫Headers中批量加引号）
爬虫项目时候，经常需要复制脚本中的Headers中的数据，一般作为字典使用，需要添加大量的引号，如何快速添加了，具体步骤如下：第一步：Ctrl+R 调出正则匹配工具栏第二步：填写正则表达式第一行填写：(.?)
2019-01-17 22:02:10
7914
1
原创 前端开发中FormData使用方法说明
**FormData的主要用途有两个：**1、将form表单元素的name与value进行组合，实现表单数据的序列化，从而减少表单元素的拼接，提高工作效率。2、异步上传文件**一、创建formData对象****1、创建一个空对象：**//通过FormData构造函数创建一个空对象var formdata=new FormData();//可以通过append()方法来追...
2019-01-17 21:17:14
916
原创 Python3网络爬虫教程3——urllib.error的使用
上接：Python3网络爬虫教程2——urlopen的返回对象https://blog.csdn.net/u011318077/article/details/865106822.5. urllib.errorURLError产生的原因没网服务器连接失败是OSError的子类看案例43_7HTTPError是URLError的一个子类看案例43_8两者区别：H...
2019-01-16 16:59:20
313
原创 Python3网络爬虫教程2——urlopen的返回对象
上接：Python3网络爬虫教程1——初始爬虫（爬虫是干嘛的？）https://blog.csdn.net/u011318077/article/details/865088722.3. urlopen的返回对象rsp = request.urlopen(url)有时候不一定能获得对象，断网了，服务器故障等等geturl: 返回请求对象的URLinfo: 返回反馈对象的meta信息...
2019-01-16 16:52:01
1892
1
原创 Python3网络爬虫教程1——初识爬虫（爬虫是干嘛的？）
1. 网络爬虫爬虫定义：网络爬虫（又被称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。两大特征按照作者的要求下载数据和内容能自动在网络上流窜三大步骤下载网页提取正确的信息根据一定的规则自动跳到另外的网页执行以上两步内容爬...
2019-01-16 15:42:03
664
原创 Python3网络爬虫教程4——UserAgent的使用(用户伪装)(附常用的UserAgent值清单)
UserAgent: 用户代理，简称UA，属于headers的一部分，服务器通过UA来判断访问者的身份常见的UA值，使用的时候可以直接复制粘贴，也可以用浏览器访问的时候抓包UserAgent使用方法，参考以下实例：**常见UserAgent值如下****电脑端**chrome Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/5...
2019-01-16 15:11:36
1364
原创 网页页面跳转+替换+刷新
举个栗子有3个网页页面 a,b,c如果当前页面是c页面，并且c页面是这样跳转过来的：a->b->c1：a->b->c 是通过window.location.replace("…xx/c") 此时b页面的url会被c页面代替，并且点击后退按钮时会回退到a页面（最开始的页面）2：a->b->c是通过window.location.href ("…xx/c...
2019-01-16 10:44:54
343
virtualenv-20.0.5-py2.py3-none-any.whl
2020-02-23
virtualenv-20.0.4-py2.py3-none-any.whl
2020-02-23
virtualenv-20.0.3-py2.py3-none-any.whl
2020-02-23
selenium-3.14.1-py2.py3-none-any.whl
2020-02-23
Scrapy-1.8.0-py2.py3-none-any.whl
2020-02-23
Scrapy-1.7.4-py2.py3-none-any.whl
2020-02-23
Scrapy-1.7.3-py2.py3-none-any.whl
2020-02-23
Scrapy-1.7.2-py2.py3-none-any.whl
2020-02-23
requests-2.23.0-py2.py3-none-any.whl
2020-02-23
requests-2.21.0-py2.py3-none-any.whl
2020-02-23
pytz-2019.2-py2.py3-none-any.whl
2020-02-23
pytz-2019.1-py2.py3-none-any.whl
2020-02-23
pyproj-2.5.0-cp38-cp38-win32.whl
2020-02-23
pyproj-2.5.0-cp38-cp38-win_amd64.whl
2020-02-23
pyproj-2.5.0-cp38-cp38-macosx_10_9_x86_64.whl
2020-02-23
pyproj-2.5.0-cp37-cp37m-win32.whl
2020-02-23
pyproj-2.5.0-cp37-cp37m-win_amd64.whl
2020-02-23
pyproj-2.5.0-cp36-cp36m-win32.whl
2020-02-23
pyproj-2.5.0-cp36-cp36m-win_amd64.whl
2020-02-23
pygame-1.9.6-cp37-cp37m-win32.whl
2020-02-23
pygal-2.3.0-py2.py3-none-any.whl
2020-02-23
plotly-4.5.1-py2.py3-none-any.whl
2020-02-23
plotly-4.5.0rc1-py2.py3-none-any.whl
2020-02-23
pandas-1.0.1-cp38-cp38-win32.whl
2020-02-23
pandas-1.0.1-cp38-cp38-macosx_10_9_x86_64.whl
2020-02-23
pandas-1.0.1-cp37-cp37m-win_amd64.whl
2020-02-23
numpy-1.18.1-cp38-cp38-win32.whl
2020-02-23
numpy-1.18.1-cp38-cp38-macosx_10_9_x86_64.whl
2020-02-23
matplotlib-3.1.3-cp36-cp36m-win_amd64.whl
2020-02-23
matplotlib-3.1.3-cp36-cp36m-win32.whl
2020-02-23
matplotlib-3.1.3-cp37-cp37m-win32.whl
2020-02-23
matplotlib-3.1.3-cp38-cp38-macosx_10_9_x86_64.whl
2020-02-23
matplotlib-3.1.3-cp38-cp38-win32.whl
2020-02-23
greenlet-0.4.15-cp37-cp37m-win_amd64.whl
2020-02-23
greenlet-0.4.15-cp37-cp37m-win32.whl
2020-02-23
greenlet-0.4.15-cp38-cp38-win_amd64.whl
2020-02-23
greenlet-0.4.15-cp38-cp38-win32.whl
2020-02-23
gevent-1.5a3-cp38-cp38-win_amd64.whl
2020-02-23
gevent-1.5a3-cp37-cp37m-win_amd64.whl
2020-02-23
gevent-1.4.0-cp37-cp37m-win_amd64.whl
2020-02-23
TA创建的收藏夹 TA关注的收藏夹
TA关注的人