- 博客(23)
- 资源 (1)
- 收藏
- 关注
RSS订阅
原创 MapReduce结合MongoDB（实现从MongoDB读写数据）
需求统计students每个年龄段人数，将结果写入res数据students集：res集：代码MongoDBTest.java：package MapReduce07;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.io.IntWritable;import org.apache.h...
2019-09-08 15:04:35
496
1
原创 Scala隐式转换
隐式转换隐式转换增强现有类型import scala.io.Source//RichFile相当于File增强类,需要将被增强的类作为参数传入增强类构造器中class RichFile(filePath :String){ def read():String = { Source.fromFile(filePath).mkString }}//implicit定义一个...
2019-10-31 09:44:35
146
原创 HBaseAPI
HBase的API：HBaseUtilspublic class HBaseUtils { private static Logger logger = LoggerFactory.getLogger(HBaseUtils.class); public static Admin getAdmin() { Configuration conf = HBaseCo...
2019-10-24 13:54:30
347
原创 KafkaSink向Kafka写入实时数据流的基本逻辑
public class KafkaSink extends AbstractSink implements Configurable { private String zkConnect; private Integer zkTimeout; private Integer batchSize; private Integer queueSize; pri...
2019-10-20 16:29:07
2228
原创 MapReduce结合MySQL（实现从MySQL读写数据）
需求统计stu每个年龄段人数，将结果写入stu_res表数据stu表：stu_res表：代码MySQLTest.javapackage mapReduceTest;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.io.*;import org.apache.hadoop.mapred...
2019-09-08 08:56:52
703
原创 MapReduce多Job串联及Partitioner
数据：Input：name hwl chinese 100 math 100 english 55name lh chinese 99 math 45 english 54name zs chinese 52 math 95 english 51name bb chinese 96 math 89 english 57name lk chinese 71 math 60 english...
2019-09-05 19:52:18
127
1
原创 MapReduce自定义分组比较器
package MapReducer05;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.*;import org.apache.hadoop.mapreduce.Job;import org.apache.hadoop.ma...
2019-09-05 08:53:09
684
原创 MapReduce倒排索引及Combiner
package MapReducer05;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.*;import org.apache.hadoop.mapreduce.Job;import org.apache.hadoop.ma...
2019-09-04 21:03:43
129
原创 MapReduce二次排序及自定义Writable
package MapReducer05;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.*;import org.apache.hadoop.mapreduce.Job;import org.apache.hadoop.ma...
2019-09-04 19:02:32
112
原创 爬虫入门五：练习爬取汽车之家新闻阅读量信息
爬虫入门五（练习）入门练习分享一个pyecharts学习网址：Python：数据可视化pyecharts的使用.爬取汽车之家新闻阅读量信息pythonimport requestsfrom bs4 import BeautifulSoupfrom pyecharts import Page, Pie, Barurl = "https://www.autohome.com.cn...
2019-08-20 21:06:12
763
1
原创 爬虫入门四：用pyecharts展示爬取到的数据
爬虫入门四（续三）文末附教程博客链接，感兴趣可以去看一下。用pyecharts展示爬取到的数据绘制想看的人数（热度）排行榜：import requestsfrom bs4 import BeautifulSoupfrom pyecharts import Page, Pie, Barurl = "https://movie.douban.com/cinema/later/che...
2019-08-20 17:48:56
1629
原创 爬虫入门三：用csv文件保存爬取到的数据
爬虫入门三（续二）文末附教程博客链接，感兴趣可以去看一下。用csv文件保存爬取到的数据python代码：import requestsfrom bs4 import BeautifulSoupimport csvurl = "https://movie.douban.com/cinema/later/chengdu/"response = requests.get(url)...
2019-08-20 17:33:42
9550
2
原创 爬虫入门二：用html文件保存爬取到的数据
爬虫入门二（续一）一直很想学习一下爬虫，今天忙里偷闲看了一篇教程博客之后开始入门学习，很感谢教程作者的讲解与分享，文末附教程博客链接，感兴趣可以去看一下。用html文件保存爬取到的数据import requestsfrom bs4 import BeautifulSoup#1-1.获取网页信息保存到文件的过程#url = "https://movie.douban.com/cine...
2019-08-19 22:03:53
2582
原创 爬虫入门一：BeautifulSoup解析豆瓣即将上映的电影信息
爬虫入门一BeautifulSoup解析豆瓣即将上映的电影信息import requestsfrom bs4 import BeautifulSoup#1-1.获取网页信息保存到文件的过程#url = "https://movie.douban.com/cinema/later/chengdu/"#response = requests.get(url)#file_obj = ope...
2019-08-19 21:32:27
595
原创 关于UUID
UUID：UUID是Universally Unique Identifier的缩写，它是在一定的范围内（从特定的名字空间到全球）唯一的机器生成的标识符。UUID是16字节128位长的数字，通常以36字节的字符串表示，其中的字母是16进制表示，大小写无关。示例如下：5b1011d0-bbd3-4c99-a54b-d70184619021GUID（Globally Unique Ident...
2019-08-16 21:17:02
820
7
原创 跳表SkipList
跳表SkipList目前经常使用的平衡数据结构有：B树，红黑树，AVL树，Splay Tree, Treep等，跳表是一种随机化的数据结构，目前开源软件 Redis 和 LevelDB 都有用到它，它的效率和红黑树以及 AVL 树不相上下，但跳表的原理相当简单，只要你能熟练操作链表，就能轻松实现一个 SkipList什么是跳表有序链表考虑一个有序链表，我们要查找3、7、17这几个元素，我...
2019-08-15 14:00:50
150
原创 C3P0连接池
系统会自动读取c3p0-config.xml文件，默认路径在当前工程目录下（src）：<?xml version="1.0" encoding="UTF-8" ?><c3p0-config> <default-config> <!-- 四大必要属性 --> <property name="driver...
2019-08-14 08:06:42
257
1
原创 DBCP连接池
所需jar包：commons-dbcp-1.*.jar、commons-pool-1.5.6.jar、mysql-connector-java-5.0.8-bin.jar编写dbcpconfig.properties文件：#连接设置driverClassName=com.mysql.jdbc.Driverurl=jdbc:mysql://localhost:3306/db_mysqltes...
2019-08-14 08:04:25
79
原创 IDEA菜单栏隐藏后显示
刚开始使用IDEA很新鲜，就到处点点点点点，结果把菜单栏点没了一开始是这样：不小心点到了这个：就变成了：解决方法：连按两下shift，在搜索栏输入“Main Menu”，把开关打开就行了...
2019-08-08 14:24:08
1688
1
原创 TCP实现文本大小写转换
需求：客户端向服务器端发送文本，服务端将文本中的小写字母转换为大写后，再将文本返回给客户端，客户端可以不断地发送文本，当客户端输入over时，转换结束。客户端：public static void main(String[] args) throws IOException { //创建Socket对象并绑定服务器端口 Socket socket = new Socket(...
2019-08-08 13:28:38
698
原创 Java实现的快速排序
思想： 基于分治的思想，是冒泡排序的改进型。首先在数组中选择一个基准点（该基准点的选取可能影响快速排序的效率，后面讲解选取的方法），然后分别从数组的两端扫描数组，设两个指示标志（lo指向起始位置，hi指向末尾)，首先从后半部分开始，如果发现有元素比该基准点的值小，就交换lo和hi位置的值，然后从前半部分开始扫秒，发现有元素大于基准点的值，就交换lo和hi位置的值，如此往复循环，直到lo&g...
2019-08-07 16:16:29
117
1
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人