Alis_豪的博客

# -*- coding: utf-8 -*-import re,osimport urllib2,csvimport timeimport numpy as npfrom lxml import etreeimport sysreload(sys)sys.setdefaultencoding( "utf-8" )"""-------------------

好不容易模拟登陆上了微博，想着可以好好执行我的爬虫之旅了，然而并没有，，，，，，一个微博账号以及一个IP地址不能爬太多信息，否则微博会当成机器人（事实也是机器人，哈哈），于是上万能的淘宝买了两个微博账号想着拿来轮换登陆爬信息，GG，在微博页面上是可以的登陆的，然而在代码上获取微博网页代码却不可以，想着应该是买的账号有问题，于是用了同事的小号，结果是可以的。但是这也只是解决账号问题，反爬好像是看IP

1.下载pyinstaller并解压（可以去官网下载最新版）：http://nchc.dl.sourceforge.net/project/pyinstaller/2.0/pyinstaller-2.0.zip2.下载pywin32并安装（注意版本，我的是python2.7）：http://download.csdn.net/download/lanlandechong/436

# -*- coding: utf-8 -*-"""Created on Mon Dec 25 10:34:27 2017@author: gzs10227"""import urllib,urllib2,re,jsonimport requestsurllib.getproxies_registry =lambda:{}import sysstderr = sys.stde

# -*- coding: utf-8 -*-"""Created on Tue Jan 30 17:01:26 2018@author: gzs10227搜索电影资源"""import reimport requestsimport time,datetimeimport pandas as pdimport urllibfrom uuid import getnod

"""Created on Fri Jan 19 18:58:41 2018人民网新闻爬虫@author: gzs10227"""import sysstderr = sys.stderrstdout = sys.stdoutreload(sys)sys.setdefaultencoding('utf8')sys.stderr = stderrsys.stdout = st

女朋友说经常找不到电影资源看，最近准备离职比较闲，所以做了一个小助手。版本1：只有搜索电影磁力链接的功能，慢慢增加功能# -*- coding: utf-8 -*-"""Created on Tue Jan 30 17:01:26 2018@author: gzs10227搜索电影资源"""import re,osimport requestsimport time,

新加功能，按什么保存文件；多个网址搜索资源# -*- coding: utf-8 -*-"""Created on Tue Jan 30 17:01:26 2018@author: gzs10227搜索电影资源"""import re,osimport requestsimport time,datetimeimport urllibimport sysstderr

因公司需求，需要爬取微博相关大v的账号以及相关信息，一开始是直接爬取，发现只可以爬取10条数据（没有登陆的情况下），所以就涉及到模拟登陆。import requestsimport jsonimport base64from lxml import etreefrom bs4 import BeautifulSoupimport timedef login(username, p

方法一：# -*- coding: utf-8 -*-"""Created on Tue Nov 22 02:24:33 2016@author: alis"""import urllib,urllib2import timeimport tracebackbegin = time.clock()x = 0b = '/media/alis/个人文件资料/Spider/M

在头默认设置编码为utf-8import sysreload(sys)sys.setdefaultencoding("utf-8")    #设置系统编码为utf8

# -*- coding: utf-8 -*-"""Created on Sat Oct 22 15:41:54 2016@author: alis"""import requests"""params = {'firstname':'liao','lastname':'qinghao'}url = 'http://pythonscraping.com/pages/files

# -*- coding: utf-8 -*-"""Created on Sat Oct 22 18:14:07 2016@author: alis"""from selenium import webdriverimport time,urllib2from bs4 import BeautifulSoupbrowser = webdriver.Firefox()#设置浏

"""----------百度输入框的定位方式------------"""# 通过id方式定位browser.find_element_by_id("kw").clear()browser.find_element_by_id("kw").sent_keys('python')# 通过name方式定位browser.find_element_by_name("wd")#通过ta

# -*- coding: utf-8 -*-"""Created on Sat Oct 22 17:01:51 2016QQ空间模拟登录@author: alis"""#导入selenium2中的webdriver库from selenium import webdriver#实例化出一个Firefox浏览器driver = webdriver.Firefox()#设

# -*- coding: utf-8 -*-"""Created on Sun Oct 23 16:16:58 2016@author: alis模拟知乎登陆"""from selenium import webdriverimport time browser = webdriver.Firefox()browser.get('http://www.zhihu.com/#

# -*- coding: utf-8 -*-"""Created on Sun Oct 23 17:04:18 2016@author: alis"""from selenium import webdriverimport timebrowser = webdriver.Firefox()browser.get('http://weibo.com/?sudaref=www

这几天心血来潮想研究研究一下scrapy，想测试下其在ｌｉｎｕｘ下爬取的速度，于是选取了妹子网来练手（之前爬过），但是获取的链接的竟然在解析下载图片时出现错误，于是换了一个素材网站！话不多说，贴上代码：# -*- coding: utf-8 -*-"""Created on Mon Nov 21 23:14:09 2016@author: alis"""from scrap

# -*- coding: utf-8 -*-"""Created on Mon May 07 11:05:49 2018B站爬虫：功能： 1 获取评论人数，点赞数，用户个人信息及评论等等@author: Alis"""import re,timeimport requestsimport osimport jsonheaders = {'user-agents':'U...