郭磊学长

1.安装unbuntu 16.04 lts下直接pip3 install scrapy2.创建项目scrapy startproject projec_name3.目录层级project_name    project_name__init__.pyitems.py（继承scrapy.items类，用于存储item）middlewares.py（？？？）pi

API store:http://www.avatardata.cn/免费API自己申请，不需要身份证验证贴代码import requestsimport jsonwea_api_url = "http://api.avatardata.cn/Weather/Query"my_wea_key = 'e38a3ff97e294360a9b9cfa397a61deb'def i

很简单，selenium + chromedriver，搜狗的部分直接在模拟浏览器内部操作即可，而mp.weixin.qq.com则是腾讯的了，不反爬虫，用urllib requests等等即可

大公无私的我帮同学写的哈哈哈-，-反爬虫好low一下就跳过了

今天班群发了个附带身份证的一个统计（隐私问题，本篇文章只阐述方法，不上传任何操作图片）正巧昨天看到了一个身份证查询归属地生日性别的api接口【阿凡达=，=因为不用付费，而且也不用实名登记（PS：现在各种软件泄密个人信息太恶心了）】于是就想用python试一试，后来发现一个个录入数据真的是。。。MMp的又慢又累以前也听说过python读取excel文件开始查到的是csv直接用impo

快要期末了QAQ还没开始预习，最后更新一次代码，添加了选座时间和性别识别以及区域男女比。选座时间嘛可以看看坐在你男神女神旁边的异性，是不是一起来的，如果是，GGBOOM那就悬了哦。性别识别主要是为了查看区域男女比例，妹子多了养眼这句话总归是没错的。然而妹子再多我还是单身...QAQ想要妹子

闲来无聊，手痒写代码系列

舍友弄了个blog,帮推一下先www.cufercwc.cn，点击量寥寥可数。下午为了逗他玩，写了个爬虫，增加他的文章点击量，哈哈，后来被他发现了，他把服务器给关了，并且决定研究反爬虫，跟我斗智斗勇，于是我先弄了这个代理ip。

杜绝抄袭，转载等操作请联系作者，谢谢合作

速度>>普通的复制粘贴贴代码：import osimport shutilimport importlibimport sysdef load_file():    walk = os.walk('.\\2017shang')    i = 1    for root,dirs,files in walk:        for name in files: ...

啊啊啊啊啊啊啊，全都是java岗位 算法岗位，说好的python应用范围已经超过java的呢？哎，真不想去银行。python是什么？面向对象 高级语言 解释性语言 字节编译性特点：可移植，易维护，无需内存管理（可以主动del），可扩展Jython Cpython python2 raw_input input python3 input交换赋值：x,y = y,x不可变...

贴代码（初版，没有排版，更改，封装）：1.爬虫部分一开始找到百度壁纸，个人比较喜欢雪景，所以想用爬虫批量下载，结果发现百度壁纸是动态的，就用request结果还是不行，所以最后又不得不用phantomjs来获取网页远吗，后来获取源码以后，解析出来了图片的url地址，然而mdzz用urlretrieve下载，结果百度给403foribidden了，后来一直在找办法，什么访问带头部，GG，什么

click不能用的解决办法

1.概要：项目为了抓取淘宝中可能存在的侵犯明星肖像权的行为，目标获取店铺首页的图片淘宝店铺首页：https://shopsearch.taobao.com/search?app=shopsearch&q=&imgfile=&commend=all&ssid=s5-e&search_type=shop&sourceId=tb.index&spm=a21bo.2017.201856-taoba

1.模拟浏览器登陆，获取cookies2.request.get()带上cookies访问3.反反爬虫（待定，目前是代理ip+休眠，搜狗模式：封ip+封cookie+重点关照[我这里有一句mmp一定要讲]）附上勉强能用的代码（自己根据实际情况，选择代理ip和休眠时间）PS：获取代理ip代码：gei_ip_pools在置顶文章里面from selenium import webd

最近项目上又在做Python gui界面设计看了看wxpython tkinter pyqt等等好几个以后，还是决定用tkinter学习成本比较低，做起来也相对容易一些做起来遇到以下几个问题：1.界面卡死（这个问题很严重，也困扰了我很久，mmp）2.界面布局3.按钮传参4.entry传var解决办法：1.界面卡死问题：把执行的计算过程全都放在thread子线程里

#只挑重点和易错点记录一：1.*代表匹配任意多次 ab*，匹配结果：a后面任意多个b（eg.'a','ab','abb'...）2.+代表匹配1到无穷次3.[]表示字符集中匹配任意一个4.|或，非贪婪 匹配到以后不再往后匹配5.（）分组和或|连用尤佳二：1.创建匹配模式re.compile()2.match(string,start,end)start，end没

今天一个python新手问我一道题，用字典实现，突然想起来了字典，就复习了一下dict.keys()取键dict.values()取值dict.items()取键值对dict[key]取对应key的valuekey不能重复，重复会导致后面的覆盖前面的>>> a = {'a':1,'a':2,'a':1}>>> a{'a': 1}可以用in查看key是否在字典里面添加

大二下+大三上 所有值得一说的工作吧

GUI界面设计进阶

谢绝转载，一经发现，追究到底。——中央财经大学2017年大学生创业创新北京市级项目

最近翻译单词每次都得打开百度翻译，很烦。所以想向百度传数据，结果request获取的response没内容，只能模拟浏览器但是这个效率啊。。。真tmd感人，算了先贴上了，有什么好的办法再改。

最近翻译一些单词时候每次都得打开chrome，然后打开百度翻译，就很烦昨天突然来了灵感，就像调用一下模拟浏览器，来尝试爬虫获取翻译后的信息，后来发现urlopen根本不行，于是尝试requests也不行就很gg于是用了模拟浏览器，结果发现效率真是非常的低下，后来百度看了一下，发现百度翻译是有api接口的然而昨天手机没有电了，于是今天在申请了开发者之后就用了这个api写了一下代码话不

本地html 可以通过写相对路径/绝对路径展示目录/文件 运行在server上面的 http https不可以 可以通过写js脚本来实现下一页 上一页按钮 可以通过server获取当前的page_num 并+1/-1 作为值 传给页面例子: <a href="result?page={{page_low}}" cla...