dianju3162-CSDN博客

转载小记---------idea新手操作

加载jar包 file---project structrue ---modules---dependencies---- 点+号选择idea软件的位置的lib 添加自带的jar包，or 指定到自己下载好的jar包的位置切换工作环境：右边maven---profiles 选中自己配置的工作环境即可。把普通文件夹转换成source文件夹...

2019-09-25 19:53:00 111

转载小记---------关于linux 定时任务crontab

linux的crontab定时任务启动服务： service crond start 关闭服务： service crond stop 重启服务： service crond restart 服务状态： service crond status/etc/cron.d/ 这个目录用来存放任何要执行的crontab文件或脚本。权...

2019-09-24 15:30:00 107

转载小记---------网页之htmlunit

HtmlUnit是一款开元的Java页面分析工具，可以有效的使用htmlunit分析页面大汉的内容，项目可以模拟浏览器运行，被誉为Java浏览器的开元实现，这个没有界面的浏览器API的使用模拟特定浏览器例： WebClient webClient=new WebClient(BrowserVersion.FIREFOX_3); ...

2019-09-23 21:22:00 121

转载小记---------网页采集之selenium

1.元素定位ID定位元素：findElement(By.id(“”));通过元素的名称定位元素：findElement(By.name(“”)); 通过元素的html中的位置定位元素：findElement(By.xpath(“”));通过元素的标签名称定位元素：findElement(By.tagName(“”));通过元素的链接名称...

2019-09-23 21:21:00 81

转载小记---------网页采集之Jsoup

Jsoup是一款Java解析器，相当于httpClient解析器功能：①：从一个URL，文件或字符串中解析HTML ②：使用DOM或CSS选择器来查找、取出数据 ③：可操作HTML元素、属性、文本特性：Jsoup解析器能够尽最大可能创建一个干净的解析结果（自动补全不完整的HTML格式）1.没有关闭的标签。2.隐式标签3.创建...

2019-09-23 21:20:00 95

转载小记----采集之Xpath

一、XPATH简介 Xpath是XML路径语言，它是一种确定XML文档中某部分位置的语言二、XPATH语法XPATH使用路径表达式在XML文档中选取节点。节点是通过沿着路径或者step来选取的。/div/a[1]选取属于div的子元素第一个a元素/div/a[last()]选取属于div的子元素的最后一...

2019-09-23 21:16:00 88

转载小记--------采集基础

1.采集简易流程：非结构化数据-数据采集-数据清洗-结构化数据-采集存储非结构化数据：不方便用数据库二维逻辑表现的数据，包含种类：音频、视频、文本、日志、WEB数据（html、xml）结构化数据：一般指存储在数据库中，具有一定逻辑结构和物理结构的数据。如 ORSACLE 、 DB2 、SQLSERVER、 MYSQL数据清洗：...

2019-09-23 20:43:00 198

转载小记-------linux scp 远程拷贝命令

//phoenix-4.10.0-HBase-1.2-server.jar 要拷贝的文件或文件夹//root 当前用户//192.148.21.1 远程机器路径，也可以是域名。// $PWD 拷贝到远程机器的路径与当前机器路径一致scp -rphoenix-4.10.0-HBase-1.2-server.jar root@192.148.21.1:$PWD...

2019-09-23 19:57:00 132

转载小记------查看‘阿里云机器’yarn 日志

通过ip:8088 页面复制正在运行的application ID在linux客户端执行 xshellyarn logs -applicationId application_1558691318924_0020 > a.txt//需要从web页面去复制到application的id值 a.txt 是把日志读取到哪个文件，方便之后查看日志转载于:ht...

2019-08-27 17:53:00 93

转载小记------通过脚本监控、及重新运行其他脚本保证脚本正常运行

#! /bin/bashwhile truedo#判断maxwell进程是否存在pid=`ps -ef |grep "Maxwell"|grep -v grep`#？的意思是：上一行代码的返回值，也就是 pid的值 -ne ：等于 if [$? -ne 0 ];then# 打开maxwell所在文件夹cd /opt/cdh/maxwell-1.21.1nohup bin...

2019-08-27 17:49:00 120

dianju3162的专栏