python-爬虫
Julywhj
负责软件开发,及其系统架构设计。
展开
-
python pip下安装Requests;实现单线程爬虫
1、打开python安装路径; 2、电脑cmd下,进入python安装路径下的Scripts文件下;(前题安装好pip,一般自动安装) 3、运行 pip install requests 完成requests的安装; 实现第一个网页爬虫:import requestsimport rehea = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WO原创 2017-03-13 15:44:52 · 808 阅读 · 0 评论 -
python 向网页提交数据post
前面介绍了get从页面抓取信息;对于存在异步加载的页面,需要先加载数据后,在获取所需要信息;需要提交参数到服务器;# 向https://www.crowdfunder.com/browse/deals网站提交数据import requestsimport reurl = "https://www.crowdfunder.com/browse/deals&template=false"data原创 2017-03-13 16:20:41 · 4091 阅读 · 0 评论 -
复杂的网页爬虫,python获取网页指的格式数据
通过python 爬虫从网页上获取多页数标题、内容、时间、等级、学习人数等信息;# -*-coding:utf-8 -*-'''Created on 2017年3月13日@author: July_whj'''import requestsimport sysimport re #由于网页编码是UTF-8 故将此设置称UTF-8编码,防止中文乱码;reload(sys)sys.se原创 2017-03-13 19:10:49 · 726 阅读 · 0 评论 -
python Scrapy安装
1、安装lxml;(1):安装工具wheel : pip install wheel (2):安装lxml:pip install lxml-3.6.4-cp27-cp27m-win32.whl2、安装zope.interfacepip install zope.interface-4.3.3-cp27-cp27m-win32.whl3、安装Twistedpip install Twi翻译 2017-03-14 13:55:13 · 467 阅读 · 0 评论 -
shell for循环、循环变量值付给其他shell脚本
本文主要将在shell中如何编写for循环,并将循环变量作为下个shell脚本的参数。原创 2017-06-20 09:03:09 · 19914 阅读 · 0 评论 -
反爬虫 破解js加密-有道翻译
js 加密有的反爬虫策略采用js对需要传输的数据进行加密处理(通常是取md5值)经过加密,传输的就是密文,但是加密函数或者过程一定是在浏览器完成,也就是一定会把代码(js代码)暴露给使用者通过阅读加密算法,就可以模拟出加密过程,从而达到破解破解有道词典 1、分析有道翻译页面用谷歌浏览器打开有道翻译http://fanyi.youdao.com/使用开发者工具查看翻译请...原创 2018-08-11 17:29:15 · 3216 阅读 · 0 评论