謝棒棒-CSDN博客

原创 xpath匹配爬取房源信息（我爱我家）

# requests包import requests# xpath包from lxml import etree# 本地mysql包（mysql_def包下mysql_conn函数）from mysql_def import mysql_conn# 定义url,含分页 %dbase_url='https://bj.5i5j.com/zufang/changpingqu/n%d/'...

2018-08-27 20:27:39 926

原创 selenium 模仿浏览器登录获取数据

#导包 selenium webdriverfrom selenium import webdriverimport timeoption_chrome=webdriver.ChromeOptions()option_chrome.add_argument('--headless')driver=webdriver.Chrome(chrome_options=option_...

2018-08-27 20:23:37 592

原创下载音频到本地（ximalaya）

import requestsimport jsonfrom urllib import request# 代理ip池proxy = { 'http': 'http://alice:123456@120.78.166.84:6666', 'https': 'http://alice:123456@120.78.166.84:6666',}headers={ ...

2018-08-27 20:22:26 3018

原创 selenium 模拟登录突破图片验证码（豆瓣网）

from selenium import webdriverimport timeimport requestsfrom lxml import etreeimport base64# 请求浏览器driver=webdriver.Chrome()# 定义登录界面 urlurl ='https://accounts.douban.com/login?alias=&redi...

2018-08-21 23:45:54 667

原创雪球网存入mysql

import requestsimport jsonfrom mysq1 import mysql_conn# 代理池proxy = { 'http': 'http://alice:123456@120.78.166.84:6666', 'https': 'http://alice:123456@120.78.166.84:6666',}# 定义max_id 和pag...

2018-08-16 23:50:20 249

原创今日头条街拍

import reimport requestsimport jsonfrom urllib import request# 导入os包，建文件夹使用import os# 定义headers头headers={ 'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, li...

2018-08-16 23:44:24 267

原创 get post 请求封装（含cookiejar）

from urllib import request,parse# 导入urllib.error包中 HTTPError,URLError 模块异常捕获from urllib.error import HTTPError,URLError# 导入 cookiejar 保存cookiefrom http import cookiejarclass session(object):...

2018-08-15 00:09:07 261

原创人人网登录（通过cookiejar）

from fengzhuang_all import post,getfrom urllib import request,parseimport json# 保存cookiefrom http import cookiejar# 通过对象保存cookiecookie_object = cookiejar.CookieJar()# handler 对应着一个操作handler ...

2018-08-14 23:02:38 2445

原创有道翻译（模拟）

import timeimport randomfrom fengzhuang_all import postimport json# 将md5加密进行函数封装def md5_my(sign_str): # md5加密模块 import hashlib # 创建md5对象使用hashlib.md5()方法 md5_o=hashlib.md5() ...

2018-08-14 21:17:51 282

原创 cookie与session的区别

Cookie实际上是一小段的文本信息。客户端请求服务器，如果服务器需要记录该用户状态，就使用response向客户端浏览器颁发一个Cookie。客户端会把Cookie保存起来。当浏览器再请求该网站时，浏览器把请求的网址连同该Cookie一同提交给服务器。服务器检查该Cookie，以此来辨认用户状态。服务器还可以根据需要修改Cookie的内容。 1、cookie的内容主要包括：名字，值...

2018-08-13 23:04:23 101

原创 get post 请求函数封装

# 导包from urllib import request,parse# 导入urllib.error包中 HTTPError,URLError 模块异常捕获from urllib.error import HTTPError,URLError# 再次封装如果是get请求直接调用 get(url,headers=None) ###headers可不写# a.get(url,...

2018-08-13 23:01:16 203

原创 get请求函数封装

# 导包from urllib import request# 导入urllib.error包中 HTTPError,URLError 模块异常捕获from urllib.error import HTTPError,URLError#1. 传入url#2. user_agent#3. headers#4. 定义Request#5. urlopen#6. 返回byte数...

2018-08-13 23:00:11 489

weixin_42958183的博客