謝棒棒-CSDN博客

原创 xpath匹配爬取房源信息（我爱我家）

# requests包 import requests # xpath包 from lxml import etree # 本地mysql包（mysql_def包下mysql_conn函数） from mysql_def import mysql_conn # 定义url,含分页 %d base_url='https://bj.5i5j.com/zufang/changpingqu/n%d/'...

2018-08-27 20:27:39 935

原创 selenium 模仿浏览器登录获取数据

#导包 selenium webdriver from selenium import webdriver import time option_chrome=webdriver.ChromeOptions() option_chrome.add_argument('--headless') driver=webdriver.Chrome(chrome_options=option_...

2018-08-27 20:23:37 603

原创下载音频到本地（ximalaya）

import requests import json from urllib import request # 代理ip池 proxy = { 'http': 'http://alice:123456@120.78.166.84:6666', 'https': 'http://alice:123456@120.78.166.84:6666', } headers={ ...

2018-08-27 20:22:26 3037

原创 selenium 模拟登录突破图片验证码（豆瓣网）

from selenium import webdriver import time import requests from lxml import etree import base64 # 请求浏览器 driver=webdriver.Chrome() # 定义登录界面 url url ='https://accounts.douban.com/login?alias=&redi...

2018-08-21 23:45:54 681

原创雪球网存入mysql

import requests import json from mysq1 import mysql_conn # 代理池 proxy = { 'http': 'http://alice:123456@120.78.166.84:6666', 'https': 'http://alice:123456@120.78.166.84:6666', } # 定义max_id 和pag...

2018-08-16 23:50:20 254

原创今日头条街拍

import re import requests import json from urllib import request # 导入os包，建文件夹使用 import os # 定义headers头 headers={ 'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, li...

2018-08-16 23:44:24 276

原创 get post 请求封装（含cookiejar）

from urllib import request,parse # 导入urllib.error包中 HTTPError,URLError 模块异常捕获 from urllib.error import HTTPError,URLError # 导入 cookiejar 保存cookie from http import cookiejar class session(object):...

2018-08-15 00:09:07 269

原创人人网登录（通过cookiejar）

from fengzhuang_all import post,get from urllib import request,parse import json # 保存cookie from http import cookiejar # 通过对象保存cookie cookie_object = cookiejar.CookieJar() # handler 对应着一个操作 handler ...

2018-08-14 23:02:38 2461

原创有道翻译（模拟）

import time import random from fengzhuang_all import post import json # 将md5加密进行函数封装 def md5_my(sign_str): # md5加密模块 import hashlib # 创建md5对象使用hashlib.md5()方法 md5_o=hashlib.md5() ...

2018-08-14 21:17:51 291

原创 cookie与session的区别

Cookie实际上是一小段的文本信息。客户端请求服务器，如果服务器需要记录该用户状态，就使用response向客户端浏览器颁发一个Cookie。客户端会把Cookie保存起来。当浏览器再请求该网站时，浏览器把请求的网址连同该Cookie一同提交给服务器。服务器检查该Cookie，以此来辨认用户状态。服务器还可以根据需要修改Cookie的内容。 1、cookie的内容主要包括：名字，值...

2018-08-13 23:04:23 108

原创 get post 请求函数封装

# 导包 from urllib import request,parse # 导入urllib.error包中 HTTPError,URLError 模块异常捕获 from urllib.error import HTTPError,URLError # 再次封装如果是get请求直接调用 get(url,headers=None) ###headers可不写 # a.get(url,...

2018-08-13 23:01:16 214

原创 get请求函数封装

# 导包 from urllib import request # 导入urllib.error包中 HTTPError,URLError 模块异常捕获 from urllib.error import HTTPError,URLError #1. 传入url #2. user_agent #3. headers #4. 定义Request #5. urlopen #6. 返回byte数...

2018-08-13 23:00:11 497

weixin_42958183的博客