乱七八糟
I am 花生
这个作者很懒,什么都没留下…
展开
-
thrift JAVA服务端 python客户端的实现
最近用python做网页的抓取,因为想得到JS解释后的HTML,先后尝试了selenium,windmill,htmlunit等web测试框架,因为只要得到html不需要界面展现,最后选择了htmlunit,而htmlunit只有JAVA的实现,所以考虑用RPC来进行python与JAVA的连接最开始试用了一下ICE,JAVA端无问题,在用python做client的时候,发现ICE现在还不支原创 2012-11-29 13:07:42 · 4367 阅读 · 0 评论 -
记录百度图片抓取过程
最近碰到个需求,需要抓取百度图片,要求得到缩略图的URL和原图的URL1.首先用urllib2连图片毛都没抓到,,分析了一下百度图片的结构,发现图片的JSON数据是通过ajax加载的.urllib2泪流满面2.前段时间用过htmlunit,这玩意是用JAVA做的,先使用htmlunit解析动态加载的网页,再用thrift进行python和java的连接,可以得到加载后的JSON,这个可以入原创 2013-05-10 15:41:28 · 1882 阅读 · 1 评论 -
CocoaPods安装报错 RPC failed; curl 18 transfer closed with outstanding read data remaining 解决
pod setup 执行时报错[!] /usr/local/bin/git clone https://github.com/CocoaPods/Specs.git --progress -- masterCloning into 'master'...remote: Enumerating objects: 122, done.remote: Counting objects: 100...原创 2019-08-20 15:43:09 · 2080 阅读 · 0 评论