爬虫学习
sort浅忆
尽心尽力做好自己的事,走自己的路,按自己的原则,好好生活。即使有人亏待了你,时间也不会亏待你,人生更加不会亏待你。
展开
-
数据统计
2016-11-01 16:23:46 · 200 阅读 · 0 评论 -
adb server is out of date. killing... 本地连接夜神模拟器失败、超时
]将SDK目录下的adb.exe文件,复制到夜神模拟器的目录下,因为夜神模拟器目录下原本的adb文件名字叫做nox_adb.exe,因此复制过去之后也得改名为nox_adb.exe[/color] 2、这样就将sdk目录下的adb文件和模拟器目录下的adb文件完全同步了,版本号也一致了。此时,可以使用cmd命令查验一下: E:\android\android-sdk\platform-tools>adb version Android Debug Bridge version 1.0.3原创 2017-06-19 10:43:58 · 507 阅读 · 0 评论 -
清除google缓存
原创 2017-10-26 11:20:00 · 236 阅读 · 0 评论 -
jd编号
原创 2017-11-02 17:59:48 · 332 阅读 · 0 评论 -
post请求加json参数或xml参数
L; import java.net.URLConnection; import java.util.HashMap; import java.util.Map; import org.json.JSONArray; import org.json.JSONException; import org.json.JSONObject; public class HttpPostTest { public static String testPost(String urlS原创 2018-07-20 18:21:05 · 547 阅读 · 0 评论 -
post请求加json参数方式二
utputStreamWriter; import java.io.PrintWriter; import java.net.HttpURLConnection; import java.net.MalformedURLException; import java.net.URL; import java.net.URLConnection; import java.net.URLEncoder; import java.security.SecureRandom; import java.原创 2018-07-24 14:02:01 · 1221 阅读 · 0 评论 -
无所不能的四种请求方式(天下武功为怪不破)
OException; import java.io.InputStreamReader; import java.io.OutputStreamWriter; import java.net.HttpURLConnection; import java.net.MalformedURLException; import java.net.URL; import java.net.URLConnection; import java.util.HashMap; impo原创 2018-07-26 11:50:56 · 391 阅读 · 0 评论 -
无忧代理IP
原创 2018-07-30 16:19:41 · 1901 阅读 · 0 评论 -
fiddler 抓取 手机https 数据包 完美解决
转:https://jingyan.baidu.com/article/ca2d939d1c5dfceb6c31cea6.html 1.安装fiddler,官网下载即可 2.安卓手机一部,能连接wifi 3.打开fiddler,点击tools, 打开Fiddler的Options菜单,进入"HTTPS"的TAB页面,依次配置如下选项: 1、勾选"Decrypt HTTPS traffic"选项 2...原创 2018-08-03 12:43:27 · 1680 阅读 · 0 评论 -
根据百度加密url, 获取真实url
fYX8eGeCDJXOXwax11EzY0yPEZ0rbRl4p6K"); System.out.println(text1); } public static String getRealUrlFromBaiduUrl(String url) { Connection.Response res = null; int itimeout = 60000; try {原创 2018-08-06 10:46:10 · 6749 阅读 · 0 评论 -
fiddler抓取的https请求 数据乱码问题解决方案
dler证书生成器的问题。 2、关闭Fiddler。 3、下载并安装Fiddler证书生成器。(注:Fiddler 证书生成器只能在 Vista 以上系统运行) 下载地址:http://www.telerik.com/docs/default-source/fiddler/addons/fiddlercertmaker.exe?sfvrsn=2 4、打开Fiddler,点击工具栏中的Tools——>Fiddler Options… 5.切换到 HTTPS 选项卡,勾选 Capture原创 2017-06-09 09:44:19 · 1167 阅读 · 0 评论 -
chromium.Browser 禁止加载图片,提升加载速度
Statement; import java.util.concurrent.CountDownLatch; import java.util.concurrent.TimeUnit; import java.util.logging.Level; import javax.swing.JFrame; import javax.swing.WindowConstants; import org.jsoup.Jsoup; import org.jsoup.nodes.Document;原创 2017-05-25 11:29:16 · 689 阅读 · 0 评论 -
chrome 禁止加载网页图片 解决办法
设置-> 选择 不显示任何图片,即可原创 2017-05-25 11:18:10 · 680 阅读 · 0 评论 -
数据服务说明
原创 2016-11-01 16:23:30 · 247 阅读 · 0 评论 -
httpclient
mport java.sql.Statement; import java.util.concurrent.CountDownLatch; import java.util.concurrent.TimeUnit; import java.util.logging.Level; import javax.swing.JFrame; import javax.swing.WindowConstants; import org.apache.http.HttpEntity; import2016-11-01 16:37:05 · 205 阅读 · 0 评论 -
java模拟jquery请求动作(模拟点击、选择下拉)
port java.sql.Statement; import java.sql.Timestamp; import java.util.Random; import java.util.concurrent.CountDownLatch; import java.util.concurrent.TimeUnit; import java.util.logging.Level; import javax.swing.JFrame; import javax.swing.WindowConsta原创 2016-12-29 14:40:10 · 311 阅读 · 0 评论 -
八爪鱼规则学习
303[/color] 点击注册账号 通过手机或邮箱注册八爪鱼账号,(邮箱注册需要激活,邮件自动发送到你的注册邮箱,访问激活链接即可激活) 3.下载八爪鱼客户端,登录客户端 4.现在你就可以创建八爪鱼的任务组 八爪鱼分为向导模式和高级模式,建议先看向导模式,再看高级模式,上述网址有教程中心有视屏和图文操作说明 5.新手配置难一点的流程会出很多问题,建议先自己配置一下简单的流程,启动运行看看效果 6.新用户 只能单机模式启动流程, 云启动就需要购买八爪鱼平台的旗舰版等等,即使不买,咱们也可以看看原创 2017-03-08 13:44:48 · 591 阅读 · 0 评论 -
App数据抓取
原创 2017-03-17 09:32:24 · 215 阅读 · 0 评论 -
爬虫被封禁原因
原创 2017-03-17 09:37:38 · 374 阅读 · 0 评论 -
反爬虫
原创 2017-03-17 10:34:11 · 202 阅读 · 0 评论 -
开源爬虫框架的优缺点?
原创 2017-03-22 14:46:01 · 250 阅读 · 0 评论 -
采集ymx商品信息
imeMillis()); String urlStr = "https://www.amazon.cn/s/ref=sr_pg_1?rh=i%3Aaps%2Ck%3A%E9%BC%A0%E6%A0%87&page=1&keywords=%E9%BC%A0%E6%A0%87&ie=UTF8&qid=1535523044"; try { String html =getHttpHeaders(urlStr);原创 2018-08-29 15:28:56 · 316 阅读 · 0 评论