amadeus_liu2的博客

二、添加mybatis starter和hive依赖。五、定义controller,注入mapper并使用。启动hiveserver2。四、定义mapper。

六、基于jar包创建自定义函数,引号中的是自定义函数类的全路径。五、通过hive的add jar 添加到hive环境。二、定义类，继承GenericUDF。四、上传到hive的服务器。

其中 job.setOutputFormatClass(MyOutputFormat.class);用来指定reduce的结果写到哪里。其中getRecordWriter方法返回了一个RecordWriter类的对象。其中构造方法创建了一个ES 客户端对象。write方法用来把数据写入ES.二、定义表示word count 结果的实体类。四、自定义类，实现接口OutputFormat。三、定义mapper和reducer。一、依赖，其中ES版本为7.6.2。六、任务执行后在ES查询数据。

其中DBOutputFormat.setOutput(job, “word_count”, “word”, “count”);这句设置往数据库写数据。任务的输入数据来自hdfs.三、定义实体类，实现DBWritable接口和Writable接口。其中使用了上面定义的MyDBWritable类。六、定义主类，启动hadoop job。七、任务结束后在数据库中查询结果。五、定义reducer。四、定义mapper。

二、实现思路：先通过一个MapReduce将顾客的消费金额进行汇总，再通过一个MapReduce来根据金额进行排序。六、定义主类，其中定义两个Job,等第一个job运行结束之后第二Job开始运行。四、定义第一对Mapper和Reducer。五、定义第二对Mapper和Reducer。一、原始消费数据buy.txt。

三、在一台服务器上开启nc。四、运行，demo程序。

统计/root/test.txt中各个单词的个数。

一、准备好hive的环境，创建表(例如userinfo),添加数据。二、启动hive服务。

【代码】java: 从HBase中读取数据。

二、调用API写HBase示例。

【代码】hadoop:通过Configuration读取hdfs。

【代码】java: 通过URL读取hadoop HDFS。

hbase shell:get ‘tableName’,‘rowKey’

Table table = connection.getTable(TableName.valueOf("originalSignal")); Scan scan = new Scan(); RowFilter rowFilter = new RowFilter(CompareOp.EQUAL, new SubstringComparator(vin)); scan.setFilter(rowFilter); ResultScanner .

将hbase-site.xml里的distributed属性设置为true

禁用表： disable myTable;清空表： truncate myTable;删除表： drop myTable;

windows: 修改host文件，加上xxx.xxx.xxx.xxx(服务器ip) master.Linux: 修改/etc/hosts

可能是hdfs端口配置的不是默认的9000,hdfs getconf -confkey fs.default.name 可以查看端口

在hdfs给用户添加权限或设置为777

/etc/hadoop/core-site.xml增加（hadoop是你的用户名)<property> <name>hadoop.proxyuser.hadoop.hosts</name> <value>*</value></property><property> <name>hadoop.proxyuser.hadoop.groups</name&gt

/tmp/当前用户名/hive.log

<dependencies> <dependency> <groupId>junit</groupId> <artifactId>junit</artifactId> <version>3.8.1</version> <scope>test</scope> </dependency> &lt..

修改hive-jdbc依赖<dependency> <groupId>org.apache.hive</groupId> <artifactId>hive-jdbc</artifactId> <version>3.1.2</version> <exclusions> <exclusion> <groupId>org.

编辑 $HIVE_HOME/conf/hive-site.xml<?xml version="1.0" encoding="UTF-8" standalone="no"?><?xml-stylesheet type="text/xsl" href="configuration.xsl"?><configuration> <property> <name>hive.metastore.warehouse.dir

sbin/hadoop-daemon.sh start datanode

可能为maven依赖的hadoop core版本过低

bin/hadoop dfs -mkdir /hilubin/hadoop dfs -touchz /hilu/niuyear.txtbin/hadoop dfs -touchz /hilu/niuyear2.txtbin/hadoop dfs -rm /hilu/niuyear2.txtbin/hadoop dfs -ls /hilubin/hadoop dfs -put test.txt /hilubin/hadoop dfs -cat /hilu/test.txtbin/hadoop d

在name结点和data结点分别进行