![](https://img-blog.csdnimg.cn/20201014180756724.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
文章平均质量分 78
璐寒
这个作者很懒,什么都没留下…
展开
-
hadoop部署
1. 安装jdk2. 上传并解压hadoop3. 配置免密登录如果是集群模式,localhost替换为其他服务器的ip地址或主机名,所有的服务器之间均需要配置免密登陆$ ssh-keygen$ ssh-copy-id root@localhost4. 配置${hadoop_home}/etc/hadoop/core-site.xml<configuration><prop...原创 2018-04-12 14:58:30 · 159 阅读 · 0 评论 -
mapreduce demo实现
mapreduce主要的实现需要三个类:主方法类、map类、reduce类。1. 主方法类:public class BreadPointDriver { /** * * @param args * @throws IOException * @throws ClassNotFoundException * @throws Interrup...原创 2018-04-12 16:11:45 · 777 阅读 · 0 评论 -
mapreduce实现数据库输出
如果mapreduce需要实现数据库输出,需要定义数据表实体类,在jobconf中设置好数据库驱动类,数据库连接参数,并将reduce的输出key设置为数据表的实体类1. 数据表实体类:数据表实体类需要实现Writable, DBWritable这两个接口,并实现以下方法public void write(PreparedStatement statement) throws SQLExcepti...原创 2018-04-12 16:45:31 · 873 阅读 · 0 评论