- 博客(4)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 后台数据同步思路
项目中有一个需求，需要与民政部的数据实时同步。思路：民政部官网的数据不会直接告诉我们，需要我们去官网查看，每个月民政部会更新两条href链接，是县级一下或者县级以上的两条数据，人工手动定期拷贝略显的low了，使用爬虫来获取网页数据，再将数据经过筛选存入数据库，开启一起定时任务，定时获取网页中最新的两条数据；实现：所需要的数据，民政部网址是 http://www.mca.gov.cn/article...
2018-02-15 17:05:25
4763
原创 Java 基于webmagic框架进行爬取页面数据
爬虫框架网络上一搜一大把，看个人觉得哪款爬虫框架比较适用自己，刚开始我接触使用的是xxl-crawler，经过几次测试实现，虽然这个框架不错，功能丰富，但跟我当时的需求来说并不满足，或许是我还没研究深，不太会用，时间有限，我选择了去找其他框架，后来接触了webmagic，操作简单方便，可以多次深入爬取，以及css，$，xpath都支持，还有获取单条数据或者多条数据的选择，正好符合我想要的，就着手研...
2018-02-12 14:29:30
2263
1
原创 Java 将内容输出成文件
文件操作类有很多种，个人现在使用的是“BufferedWriter”这个类进行操作，这个类操作起来很方便，看代码：定义一个路径：private String path="d:\\aa.xls";表明要在D盘根目录下生成一个叫“aa”的excel文件定义一个“BufferedWriter”类的对象：private BufferedWriter writer;接着就可以操作了，例如，将想要的内容，存入...
2018-02-09 18:40:51
796
原创 Java 利用反射类操作其他类
反射的概念： JAVA反射机制是在运行状态中，对于任意一个类，都能够知道这个类的所有属性和方法；对于任意一个对象，都能够调用它的任意一个方法和属性；这种动态获取的信息以及动态调用对象的方法的功能称为java语言的反射机制。 要想解剖一个类,必须先要获取到该类的字节码文件对象。而解剖使用的就是Class类中的方法.所以先要获取到每一个字节码文件对应的Class类型的对象. 反射就是把jav
2018-02-05 17:53:41
487
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人