2018年10月_望隐少年

转载搞清java泛型的作用

这位兄弟写的已经很棒了，其实泛型就和方法中的参数类型差不多，更好的地方在于还可以给接口用给类用，限制输入类或者方法的参数的类型。< , , , , >你比如说我这里Mapper定义了4个泛型，那我初始化Mapper的时候，我必须是要把这四种类型的对象给传进来的。Longwritable就是Long类型Text就是文本类型Int就是整型这些只是在Hado...

2018-10-31 16:55:53 229

原创更好的maven依赖查询网站：https://mvnrepository.com/

https://mvnrepository.com/

2018-10-31 16:19:45 20733 1

原创 Write a

如何写一个MapReduce job注意输入和输出都是首位相加

2018-10-31 16:06:59 1280

原创 MapReducer Reducer Class

Reducer可以用作Combiner的情况：满足 a.b=b.a或者a.(b.c)=(a.b).c Combiner能用就用，不一定是用Reducer来替代。设置Reducer为Combiner类的方法：job.setCombinerClass(WCReducer.class); Partitioner Class：决定把k-v数据块发给哪个Reducer R...

2018-10-31 15:37:42 375

原创 Mapper Class工作流程

1. setup方法2.map方法3.cleanup方法4.run方法缺省流程：首先调用setup初始化，比如连接数据库等。（只调用一次）然后run方法执行，从inputformat类的RecordReader方法里面拿key-value的数据，拿一次调用下map方法处理数据，等到没有记录可以读了之后之后 cleanup方法最后把数据库等资源关掉。（在...

2018-10-31 15:14:26 670

原创 InputFormat的作用

InputFormat：从文件中读取数据，转化成key-value格式。对于常用的数据类型，hadoop已经有了这个接口的实现。特殊文件格式的话，只有你自己知道怎么读取这种文件格式，你可以自己来定义。 method:1. get InputSplit框架调用此方法获得有几个逻辑块，这样就知道需要多少个mapper了，数据产生地点产生Mapper的实例。2.c...

2018-10-31 12:03:14 5464

原创 MapReduce对Key-value的要求

MapReduce中数据始终为k-v格式，有如下要求：value 可读写key 可读写可排序key-value 可序列化序列化的意思就是你的数据现在是object对象，这可以存在于内存中，但是没办法传输。我们必须把它序列化成字节流，让他可以保存到磁盘上成为文件，并且可以被在机器上传输。...

2018-10-31 11:52:44 2041

原创 MapReduce工作模型（重要）

Input就是数据数据以key-value形式进来之后，我们需要一个解码器InputFormat，它是用来计算有多少个逻辑块以及我怎么读取这些内容。然后就是Map过程，Map就是我们处理业务数据的过程，比如说WordCount，那我们就对每个单词计数。然后是combiner是局部汇总，也就是把本机上的结果先汇总，减轻Reducer的压力。但这步不是必须的。再往下就是Partit...

2018-10-31 11:45:16 232

原创 MapReduce

第一课在讲什么：（这么一梳理就很清楚了）讲了一个MapReduce的工作流程，主要分为Map阶段和Reduce阶段。首先数据分块，分块之后我们把分块的数据做处理，比如说我们计数，计数我们会把它处理成K-V的形式，然后做一下combine 局部合并（单台机器上的合并），然后做shuffle数据迁移，最后reduce过程就是把所有机器计算结果汇总到一台机器上，形成最终结果。combinne的好...

2018-10-27 18:29:42 163

转载黄豆豆“宋庆龄讲坛”开讲：想要成功，坚持比什么都重要

黄豆豆“宋庆龄讲坛”开讲：想要成功，坚持比什么都重要黄豆豆在宋庆龄讲坛，与孩子们分享成为舞者的经历10月26日，正在为2018上海国际艺术节而忙碌的中国著名舞蹈艺术家黄豆豆抽出整整一天的时间，走进宋庆龄学校主办的“宋庆龄讲坛”，与全校1000多名几岁到十几岁的学生聊了聊自己的舞蹈生涯。拿遍舞蹈大奖的小个子面对台下的小学生们，黄豆豆一下想到了自己的童年时代。从中国风浓郁...

2018-10-27 17:55:27 166

原创 maven如何编译（陈老师精讲一看就懂）

陈老师说了，没强调的意味着现在不要花精力去研究，会用即可。后面不断用它自然不就会了吗。 maven被陈老师讲完之后简直太特么简单了，以下是步骤：1. eclipse- new project--maven 创建maven项目2. 一直next即可，group id就是公司名，aritfactId就是模块名，version随便输入0.0.1或者1.0.0，package选你给我打成j...

2018-10-26 23:46:39 4802

原创大数据选择题（二）

1.which among the following command is used to copy a directory from one node to another in HDFS?1.rcp 2.distcp √ 集群节点间的拷贝3.dcp4.drcp 2.Can multiple clients write into an Hadoop HDFS...

2018-10-26 22:32:23 741

原创浅析 Secondary NameNode(辅助namenode)

重点提示：首先这个问题不要抠的过细。SDNN即Secondary NameNode NN即NameNode1. 首先介绍NameNode节点上两个重要文件（1）fsimage：它是元数据的镜像文件，镜像这个东西大家都懂，所以它记录的其实是某个时间点内存中元数据的状态。而且和虚拟机是一个道理，每次NN启动的时候，也是先加载fsimage才能启动。（2）edits log: 用于...

2018-10-26 22:05:54 320

原创大数据选择题练习

1. what is the daemon of HDFSA.Secondary NameNode 第二名字服务器整理集群元数据B.Node Manager 节点管理器 // datanode有一个管理器，namenode和datanode如何交流？就是通过安装在每个datanode上Node Manager，服务资源和调度都管。C.Resource M...

2018-10-26 18:19:58 2943

原创 MapReduce 程序运行演示（示例PI程序 wordcount程序）

你说的9000端口应该指的是fs.default.name或fs.defaultFS（新版本）这一配置属性吧，这个属性是描述集群中NameNode结点的URI(包括协议、主机名称、端口号)50070其实是在hdfs-site.xml里面的配置参数dfs.namenode.http-address，默认配置为dfs.namenode.http-address，这是HDFS web界面的监听端口...

2018-10-25 23:44:23 1280

原创 mvn package打一个jar包

去项目目录下，运行mvn package（如果没配环境变量，你需要把完整的bin目录敲出 c:\xx\xxx\bin\mvn package）一个jar包就打好了放到了target目录下面，然后拷贝到linux的hdfs目录下面，你就可以运行它了。比如java -jar hdfs-0.0.1-jar -w interview.txt hdfs://sandbox.hot...

2018-10-25 18:15:36 10348 1

原创同一个hdfs客户端切换不同集群环境

是通过两个配置文件来切换到不同集群环境的，hdfs-site.xml和core-site.xml 现在我创建两个目录：~/dev/hadoop 开发环境目录~/prod/hadoop 产品环境目录好了，现在我把开发环境集群的core-site.xml和hdfs-site.xml拷贝到开发环境目录，把产品环境的core-site.xml和hdfs-stie.xml拷贝到产品环...

2018-10-25 18:00:08 716

原创 ll和ls的区别

linux下命令“ll”是“ls -l"的别名,"ll"和“ls -l”的功能是一样的。ls 命令可以说是linux下最常用的命令之一。-a 列出目录下的所有文件，包括以 . 开头的隐含文件。-b 把文件名中不可输出的字符用反斜杠加字符编号(就象在C语言里一样)的形式列出。所以"ll"和"ls"的区别就是是“ls”和"ls -l"的区别。ls -l是显示当前目录下文件详细信息,...

2018-10-25 11:59:37 8263

原创查看集群基本情况（重要）！！查看hadoop集群有多少节点（hdfs fsck /）

liugen@ubuntu:~$ hdfs fsck / Connecting to namenode via http://localhost:9870/fsck?ugi=liugen&path=%2FFSCK started by liugen (auth:SIMPLE) from /127.0.0.1 for path / at Wed Oct 24 20:39:11 P...

2018-10-25 11:53:09 26920 3

原创 hdfs dfs -get /demo2/1.txt 权限错误（原因：linux根目录与家目录的区别）

我给get到根目录下了，结果没有权限。但是读取根目录 put操作却可以。根目录是大家都有权限读取的，家目录的话只有用户本身有权限进行操作（读，写）。家目录需要管理员去创建和分配。今天看了很多关于linux根目录与家目录的区别，总结了几点： 1. ~ 代表是home目录，也就是家目录， / 代表的是根目录 2. 用户登录后在家目录，可用pw...

2018-10-25 10:41:31 753

原创 .bashrc作用及其他配置文件（后面补充）

gedit ~/.bashrc // .bashrc 用于保存个性化设置，保存本用户的别名、路径等。source ~/.bashrc //使修改生效

2018-10-25 10:39:25 462

原创 Hadoop之HDFS上测试创建目录、上传、下载文件(这些基本操作记录下来，总有忘的时候)

1、HDFS上创建目录${HADOOP_HOME}/bin/hdfs dfs -mkdir /demo112、上传本地文件到HDFS上${HADOOP_HOME}/bin/hdfs dfs -put ${HADOOP_HOME}/etc/hadoop/core-site.xml /demo1 3、上传本地文件到HDFS上${HADOOP_HOME}/bin/hd...

2018-10-24 18:24:15 3390

原创按照官方文档重装跨不过去的坎儿：hdfs dfs -ls / 搜不到任何hdfs根目录

可能是我跟着别人的博客来安装的，落下了什么东西，反正基本的都起来了，今天晚上的任务就是把这些hadoop3.0.3 重装。按照官方文档：http://hadoop.apache.org/docs/r3.0.3/hadoop-project-dist/hadoop-hdfs/HdfsUserGuide.html#Overview...

2018-10-23 17:05:09 1908 2

转载改变了哪些端口 hadoop3.0修改端口如下：

为什么改变端口？hdfs默认临时端口，如果端口正在使用，这可能会导致服务启动时发生绑定异常。改变了哪些端口hadoop3.0修改端口如下：Namenode 端口: 50470 --> 987150070 --> 98708020 --> 9820Secondary NN 端口:50091 --> 986950090 --> 9868Datanode 端口: 50020...

2018-10-23 15:55:38 3637

原创我把HADOOP_HOME这最重要的环境变量忘记了

export HADOOP_HOME=/usr/local/hadoopexport PATH=$PATH:/usr/local/hadoop/sbin:/usr/local/hadoop/binexport JAVA_HOME=/usr/lib/jvm/default-java

2018-10-23 14:41:36 6211

转载 jps命令查看DataNode进程不见了(hadoop3.0亲测可用)

jps： java process status tools表示java进程查看工具.解决方案就两个：1.清空tmp目录 2.把tmp目录下的NameNode和DataNode的clusterID，在VERSION文件里改成一样的即可。liugen@ubuntu:/usr/local/hadoop/tmp/dfs/name/current$ gedit VERSION ...

2018-10-23 00:53:59 3728 2

转载大数据处理平台Hadoop之安装（所有博客里，这篇写的最好，帮你把坑都踩了）

2018-10-17 21:34:40 923

转载赋予普通用户root权限具体步骤

实现的效果就是输入su -之后，可以切换到root。赋予普通用户root权限步骤1.首先你需要sudo su登陆root账号2. chmod 700 /etc/sudoers 修改sudoers文件的权限，允许自己修改3.根据下列方法一或方法二来赋予root权限4.exit退出root账号5.用命令 su - （su和-之间有空格），即可获得root权限进行操作...

2018-10-17 12:02:20 3837

转载 linux赋予用户root权限

linux里面管理员（sudo）和root权限还是不一样的，root是最高权限了。赋予root权限方法一：修改 /etc/sudoers 文件，找到下面一行，把前面的注释（#）去掉## Allows people in group wheel to run all commands%wheel ALL=(ALL) ALL然后修改用户，使其属于root组（whee...

2018-10-17 11:08:41 2486 1

转载 Linux添加用户并赋予/取消管理员权限

Linux添加用户并赋予/取消管理员权限Ubuntu 1 2 3 4 5 6 7 sudo adduser username # 添加用户 sudo adduser username sudo # 追加管理员权限 grep -...

2018-10-17 11:01:53 13229

转载解决ssh localhost中root@localhost:要求输入密码问题（你需要生成好公钥，导入认证文件，让他去认证文件找，就可以免密了）

解决ssh localhost中root@localhost:要求输入密码问题（已经进行了无密码设置登录）首先删除~/.ssh目录下的3个文件，如下id_rsaauthorized_keysid_rsa.pub然后exit 　　# 退出刚才的 ssh localhostcd ~/.ssh/ 　　 # 若没有该目录，请先执行一次ssh localhostssh-keyge...

2018-10-17 11:00:04 7154

转载如何检测ssh是否启动

查看ssh是否启动，有sshd说明已经启动，sshd就是基于ssh协议来进行远程控制或者负责机器之间传文件。 1 sudo ps -e |grep ssh 启动ssh服务 1 sudo service ssh start 下图是没有安装ssh服务时,运行的效果安装ssh服务 1 ...

2018-10-17 00:18:51 17299 1

原创缺少gdbm

apt-get install python3.6-gdbm

2018-10-17 00:07:24 2065

转载 linux-user-group添加与删除

linux-user-group添加与删除在 Linux 操作系统下，如何添加一个新用户到一个特定的组中？如何同时将用户添加到多个组中？又如何将一个已存在的用户移动到某个组或者给他增加一个组？对于不常用 Linux 的人来讲，记忆 Linux 那繁多的命令行操作真是件不容易的事。在 Linux 中，增加用户或改变用户的组属性可以使用 useradd 或者 usermod 命令。userad...

2018-10-16 23:12:30 1468

转载可读可写可执行分别对应4 2 1

而数字7是特定用户的读，写，执行权限：[读取--用数字 4 表示][写--用数字 2 表示][执行--用数字 1 表示]

2018-10-16 18:21:43 5113

转载 ubuntu 出错 /etc/sudoers is world writable

ubuntu如何转换为管理员：sudo su 。摘要：如果改变了这个,目录的权限sodu就不能用了,当你再使用sodu命令就会爆如下问题:sudo:/etc/sudoersisworldwritablesudo:novalidsudoerssourcesfound,quittingsudo:unabletoinitializepolicyplugin这个是linux为保证系统...

2018-10-16 18:08:07 819

转载解决Ubuntu中vi命令的编辑模式下不能正常使用方向键和退格键的问题

2018-10-16 17:22:56 312

转载 Hadoop分布式模式下SSH免密码登录

所有免密登陆博客里，这篇是最好的，亲测可用，把很多坑都写清楚了。补充下公钥不检查的设置方法公钥检查是非常重要的一个机制，防止中间人劫持等黑客攻击，当我本机ssh登陆另一台机器时，它默认是要检查我的公钥的，所以我们需要把它设置成第一次不检查，直接接受我的公钥。方法如下：只需要修改 /etc/ssh/ssh_config 文件，包含下列语句：Host * StrictHostKeyCh...

2018-10-16 15:28:46 183

转载 linux安装openjdk

安装JDK的最简单方法应该就是使用apt-get来安装了，但是源一般是OpenJDK，如果需要安装oracle的JDK这种方法就不合适了，直接跳过看下面的章节。　 1.使用ctrl+alt+t打开终端，你可以添加一个含有OpenJDK源的仓库，一般是不需要，因为一般都有。　　备份原始源文件：cp /etc/apt/sources.list /etc/apt/sources.list.ba...

2018-10-16 00:50:12 17612

转载 ubuntu 把软件源修改为国内源和更新

ubuntu 把软件源修改为国内源和更新1. 备份原始文件sudo cp /etc/apt/sources.list /etc/apt/sources.list.backup2. 修改文件并添加国内源vi /etc/apt/sources.list3. 注释元文件内的源并添加如下地址#cn99.com 源更新服务器（江苏省常州市电信，推荐电信用户...

2018-10-15 16:35:22 4417

C家家程序设计100例

Secondary namenode工作原理提问！~

输入命令为:hdfs dfs -ls / ，什么也没返回，HFDS根目录下一片空白