java
黑暗料理界的扛把子
新的公司新的开始,每天都是活力满满
展开
-
Java selenium 第三课 驱动加载方式
正常加载驱动的方式System.setProperty("webdriver.chrome.driver", "E:/googledriver/chromedriver.exe");WebDriver driver = new ChromeDriver();需求更改后加载驱动的方式1、加载驱动后调整页面的大小2、隐藏浏览器窗口3、禁止加载图片 //chromedri...原创 2019-11-05 11:27:39 · 454 阅读 · 0 评论 -
Webmagic+selenium+chromedriver+jdbc垂直抓取数据。
新手小白入手selenium+chromedriver爬虫,爬取各种网站之后觉得只要能看到的都能抓到是真方便,就是效率低了点。所以开始加点东西提高一下爬虫效率。对我来说最直接的方法就是单线程变多线程~~~1、webmagic爬取数据 规则 框架 Selenium webmagic 抓取规则 针对单...原创 2018-09-18 17:28:12 · 2772 阅读 · 4 评论 -
kettle 通过java脚本对数据进行标注
在项目当中遇到一种情况:我需要根据不同字段的值综合判断该数据属于我划分的哪种类型。如果是单个字段我们可以根据kettle提供的switch / case 组件进行判断并赋值,但是如果通过多个字段或者是添加某种限定条件对数据整体进行处理,该组件的功能不足以支持。这种时候我开始怀念以前用java进行数据清洗,内存崩了的时候。java为我们数据清洗提供了更加广泛的维度,恰巧kettle提供的多种脚本...原创 2019-06-20 14:13:27 · 1363 阅读 · 0 评论 -
利用 Fastjson json (简单粗暴版)
参考博客:https://blog.csdn.net/qq877507054/article/details/51395852先看json的样式:含有多个数组。{ "status":0, "message":"ok", "total":134, "results":[ { "name":"北京市dnf小学", ...原创 2019-07-11 16:26:07 · 137 阅读 · 0 评论 -
java 时间处理
JAVA 获取时间的类有很多,今天对Date类与Calendar类进行使用总结1、获取当前时间及转化Date date = new Date();System.out.println(date);//cal作为Calendar类的子类对象,对应用户所在的时区Calendar cal = Calendar.getInstance();System.out.println(now....原创 2019-07-31 10:25:43 · 136 阅读 · 0 评论 -
kettle引用外部脚本完成电话号码清洗、去重缩进
项目需要对电话是否真实进行判断,并去除重复项。今天在项目当中引用java 脚本进行数据清洗时,创建List<String> 之后程序就各种报错。求大神指教~~~于是参考了张小凡vip的kettle案例四使用java脚本进行数据处理,解决了遇到的问题。1、电话清洗电话分为两种:座机、手机清洗规则如下:正则匹配出其中全部的数字;删除首位非0数字前的全部0;针...原创 2019-07-22 18:24:47 · 755 阅读 · 0 评论 -
java selenium 基础第一课
最近开始回顾爬虫,主要是用selenium,爬取一些动态生成的页面。1、谷歌浏览器驱动selenium 可以搭配各种浏览器,只要能够匹配到驱动即可,我主要使用谷歌浏览器,浏览器和驱动版本号对应关系如下图驱动下载地址:http://chromedriver.storage.googleapis.com/index.htmlwindows、linux、moc驱动是不一样的,驱动下载完成...原创 2019-08-30 15:07:16 · 119 阅读 · 0 评论 -
jvaa 模拟http get 获取json
一、HTTP简介HTTP协议是Hyper Text Transfer Protocol(超文本传输协议)的缩写。HTTP协议工作于客户端-服务端架构为上。浏览器作为HTTP客户端通过URL向HTTP服务端即WEB服务器发送所有请求。Web服务器根据接收到的请求后,向客户端发送响应信息。 二、HTTP工作原理HTTP协议定义Web客户端如何从Web服务器请...原创 2019-09-19 14:15:42 · 191 阅读 · 0 评论 -
Java selenium第二课 句柄转换
selenium 使用时如果点击操作新打开一个页面就会涉及到句柄的转换//转换句柄String[] handles = new String[driver.getWindowHandles().size()] ;driver.getWindowHandles().toArray(handles);//切换到详细的页面driver.switchTo().window(handles[1...原创 2019-09-26 14:27:20 · 409 阅读 · 0 评论