2018年08月_baidu_252253

转载如何爬取猫眼网电影票房数据

https://blog.csdn.net/qq_31032181/article/details/79153578一、背景字体反爬应用还是很普遍。这两天有朋友咨询如何实现猫眼票房数据的爬取，这里其实与上面的文章核心思想是一致的，但是操作更复杂一些，本文做一个更详细的破解实践。有对字体反爬还比较陌生的，请参考前文。二、查找字体源猫眼电影是美团旗下的一家集媒体内容、在线购票、...

2018-08-31 17:36:56 14277 1

原创在线查询地名经纬度 | Google Map查地名经纬度 - aTool在线工具

http://www.atool.org/area2location.php

2018-08-23 22:47:49 20833

原创如何把Geohash的值解码成经度纬度？

https://segmentfault.com/q/1010000011928691/a-1020000011986464import Geohashgeohash.decode('wx4gfbe')

2018-08-23 22:47:03 5344 1

转载报错 ImportError: No module named 'geohash' 的解决办法

https://blog.csdn.net/Jinlong_Xu/article/details/73822759最近有个“摩拜杯”算法大赛，看了下数据，发现里面的起点和终点都进行了编码，需要用geohsah来解码成坐标。先介绍一下安装geohash： pip install geohash 显示安装成功：然后我发现import 模块的时候是会报错的：...

2018-08-23 22:45:09 7098 8

原创 URL编码解码

先对一“XXX”字符串进行第一次URL编码：得到结果（一）：结果（一）：%E5%88%9B%E4%B8%9A%E4%BC%9E%E6%8A%95%E8%B5%84%E6%9C%89%E9%99%90%E5%85%AC%E5%8F%B8再对结果（一）进行二次编码：得到结果（二）：%25E5%2588%259B%25E4%25B8%259A%25E4%25BC%259E%25E6%258...

2018-08-18 09:50:13 121626

转载 Nginx/Apache 代理服务器

https://blog.csdn.net/sinat_40611238/article/details/79923377nginx 适合做静态，简单，效率高apache 适合做动态，稳定，功能强正向代理代理的对象是客户端，反向代理代理的对象是服务端正向代理我们常说的代理也就是只正向代理，正向代理的过程，它隐藏了真实的请求客户端，服务端不知道真实的客户端是谁，客户端请求的服务都被代...

2018-08-17 16:00:22 269

https://blog.csdn.net/sinat_40611238/article/details/79510373u/U:表示unicode字符串 example：u"string"不是仅仅是针对中文, 可以针对任何的字符串，代表是对字符串进行unicode编码。一般英文字符在使用各种编码下, 基本都可以正常解析, 所以一般不带u；但是中文, 必须表明所需编码, 则一旦编码转换就会出现...

2018-08-17 15:48:02 746

转载 Python中json数据乱码问题

https://blog.csdn.net/u013562625/article/details/78941514import codecsresp = requests.get(url,headers=headers)result = json.dumps(resp.json(),ensure_ascii=False) #若不指定ensure_ascii=False，输出的是中文的a...

2018-08-17 15:46:06 3111 1

转载 Python中GBK, UTF-8和Unicode的编码问题

https://www.cnblogs.com/jxzheng/p/5186490.html编码问题，一直是使用python2时的一块心病。几乎所有的控制台输入输出、IO操作和HTTP操作都会涉及如下的编码问题：UnicodeDecodeError: ‘ascii’ codec can’t decode byte 0xc4 in position 10: ordinal not in r...

2018-08-17 15:43:33 7519

原创编码问题的解决

https://www.cnblogs.com/284628487a/p/5584714.htmlhttps://www.cnblogs.com/jxzheng/p/5186490.html

2018-08-15 17:12:14 191

原创 Python中代理服务器的设置（requests、urllib）

urllib 方式def user_proxy(proxy_addr, url): import urllib.request proxy = urllib.request.ProxyHandler({'http': proxy_addr}) opener = urllib.request.build_opener(proxy, urllib.request.HTTP...

2018-08-15 17:03:43 3049

原创 Pycharm为代码批量加引号

https://blog.csdn.net/wang_hugh/article/details/81043852一. 在浏览器中将Request Headers复制到pycharm的py文件中建议使用Chorme的浏览器复制. 二 .使用快捷键：Ctrl+R 调出正则匹配工具栏三.按照下图步骤操作：1. 选中需要快速加引号的区域2. 填写正则匹配表达式， ...

2018-08-10 10:57:59 9207

原创 InsecureRequestWarning和ssl.SSLError问题解决方案

========================（一）==================================https://blog.csdn.net/k53247l2/article/details/74168894Python的第三方库requests提示警告InsecureRequestWarning的问题在Python3中使用以下代码报错： req...

2018-08-07 18:34:54 1069

原创如何安装指定版本的Django

https://www.cnblogs.com/caowenhao/p/8027412.htmlDjango默认安装最新版本：pip install djangoDjango后面接版本号就可以了：pip install django==1.11.7如果使用pip install安装库比较慢，可以用豆瓣的镜像：pip install django==1.1...

2018-08-07 15:51:42 5730

原创模拟登录

（一）使用Python模拟登陆12306并全自动下单https://blog.csdn.net/kenserty/article/details/78303607（二）12306模拟登录https://blog.csdn.net/u012414576/article/details/50353311

2018-08-07 14:56:10 156

原创 Django的安装

https://www.cnblogs.com/lfxiao/p/7510002.html 我们公司要搞个web项目，开始定的是.NET开发（我是学.net的），后来又决定用python开发，使用Django框架（我从未接触过python，Django更是第一次听），心里一万个不愿意，但是没办法，老大今天让我把Django的环境搭建起来，再找两个例子跑一跑。然后我就去了Django官网，尼...

2018-08-07 13:53:33 270

原创 Python 使用requests发送POST请求

https://blog.csdn.net/junli_chen/article/details/53670887

2018-08-07 09:53:59 1479

原创 Python + Requests 模拟登陆（含验证码）

https://blog.csdn.net/qq_15718805/article/details/79004379

2018-08-07 09:50:41 993

原创 Django-work

work（一）：WSGI接口https://www.liaoxuefeng.com/wiki/001374738125095c955c1e6d8bb493182103fac9270762a000/001386832689740b04430a98f614b6da89da2157ea3efe2000 work(二）：render函数和redirec函数的区别https://www.cn...

2018-08-06 14:34:35 152

原创 Django中URL正则表达式匹配

（一）https://blog.csdn.net/summer070825/article/details/51218745（二）https://blog.csdn.net/thinkerleo1997/article/details/74357018

2018-08-06 13:08:16 1747

原创 Django基础（一）

https://blog.csdn.net/wwwdc1012/article/details/72810288

2018-08-06 11:43:45 80

原创 Scrapy框架之如何给你的请求添加代理

https://www.jianshu.com/p/8a0fc5f367da 首先做好准备工作，创建一个Scrapy项目，目录结构如下：注：spiders目录下多了3个文件，db.py，default.init和items.json。db.py是我简单封装的一个数据库访问的lib文件，default.init是我的数据库和代理相关的配置文件，items.j...

2018-08-05 22:42:47 6965

原创 Python3爬虫代理服务器与cookie的使用

https://blog.csdn.net/fengxinlinux/article/details/77340666代理服务器的设置有时使用同一个IP去爬取同一个网站上的网页，久了之后会被该网站服务器屏蔽。那么怎么解决这个问题呢？解决的方法很简单，就是使用代理服务器。使用代理服务器去爬取某个网站的内容的时候，在对方的网站上，显示的不是我们真实的IP地址，而是代理服务器的IP地址。...

2018-08-05 22:32:27 260

原创 scrapy代理的配置方法（一）

https://blog.csdn.net/jutal_ljt/article/details/54557805根据最新的scrapy官方文档,scrapy爬虫框架的代理配置有以下两种方法:一.使用中间件DownloaderMiddleware进行配置使用Scrapy默认方法scrapy startproject创建项目后项目目录结构如下,spider中的crawler是已经写好的爬虫...

2018-08-05 22:22:33 9138

原创 ThreadPool

ThreadPool(5)这里面写开的线程数。pip install threadpool 下载就可以了def thread(): tasl_pool=threadpool.ThreadPool(5) list1=['上海睿翎法律咨询服务有限公司','上海剑桥科技股份有限公司深圳分公司','上海劢德软件科技有限公司东莞分公司','上海助盈电子商务有限公司潮安分公司...

2018-08-04 22:20:03 325

原创爬虫 Scrapy 学习：Spiders

http://www.shangyang.me/2017/07/20/scrapy-learning-4-spiders/

2018-08-02 20:41:07 205

原创托管代码和非托管代码的区别

https://blog.csdn.net/yulongguiziyao/article/details/16992553

2018-08-02 20:36:47 1749

baidu_32542573的博客