- 博客(8)
- 收藏
- 关注
RSS订阅原创 Linux中SSH免登陆原理
在配置Hadoop集群的时候，最后一步就是要设置ssh的免登陆了，而这个免登陆理解了，后面配置多台机器进行分布式就好说了。 首先，SSH 为 Secure Shell 的缩写，由 IETF 的网络小组（Network Working Group）所制定；SSH 为建立在应用层基础上的安全协议。SSH 是目前较可靠，专为远程登录会话和其他网络服务提供安全性的协议。在linux上，通过ls -la
2017-08-31 21:12:15
830
原创 Hadoop2.2.0伪分布式搭建
在hadoop中，分为单机模式，伪分布式，和完全分布式。而伪分布式在1.X中就是类似JobTracker和TaskTracker都在一台机器上运行，在2.X中，就是NameNode和DataNode在一台机器上，而并没有实现多台机器来进行真正的分布式计算。一、Linux环境的准备 首先说一下VMware的三种工作模式桥接（bridge）、NAT（网络地址转换）和host-only（主机模式）。
2017-08-31 19:47:43
865
原创 把JFinal项目上传到服务器
最近用JFinal框架写了个学生管理系统的后台，然后打算把它上传到linux服务器上，然后遇到了很多问题。 一开始，就是按照网上的说明：https://my.oschina.net/jfinal/blog/3530621：创建一个目录: /var/www2：为将要部署的项目创建一个目录， /var/www/my_project3：将项目打成 war 包， 然后解压到 /var...
2017-08-30 12:28:04
1719
2
转载 hadoop面试题以及答案
从http://blog.csdn.net/kingmax54212008/article/details/51257067转载的很多面试题，虽然感觉很多还很难掌握，但是会尽快弄明白的。 1.列出安装Hadoop流程步骤a) 创建hadoop账号b) 更改ipc) 安装Java 更改/etc/profile 配置环境变量d) 修改host文件域名e) 安装ssh 配置无密码
2017-08-19 22:33:24
2438
原创 MapReduce中从Input split到Map的联系
上一篇文章搞明白了文件从上传到hdfs，再到通过实现了InputFormat的FileInputFormat类来将文件进行输入分片的划分，而最后计算好了的分片是怎么传递给了map呢？ 还是通过源码来解决。在InputFormat中还有一个方法叫做createRecordReader()/** * Create a record reader for a given split. The
2017-08-18 22:23:16
842
原创 MapReduce中input split和block的划分以及maptask和reducetask数量的确定
学了mapreudce框架没多久，虽然会写很多的一些常见的案例，但是这个框架中一些本质地方的实现还是有很多疑惑的。所以就想整理一下最近所学到的东西。 首先先理清楚block和split的区别。 1、block块 当把文件上传到hdfs中时，第一步要进行的操作就是划分数据，数据在hdfs中被划分为一块一块的，默认的大小是64MB，这个块的大小可以在haddop-default.xml
2017-08-17 21:52:18
3501
原创 mapreduce中分割字符串
刚学mapreduce没多久，在默认的输入分片中，经常要对一行的数据进行划分，如果数据的格式划分的清除，在分割这一行数据的时候也就好划分了，但是有时候，数据的格式并不规整，所以划分起来就得多写些代码了。 例如：204001 01 02 03 07 10 25 07这种数据之间的间距是一样的都是一个空格的间距，所以在map中接受的数据可以直接通过value.split(” “)就可以获取这一行所有的
2017-08-16 21:10:18
3498
原创 Java中关于字符串的几种"空"的区别
Java中关于字符串的几种"空"的区别 首先需要明确字符串中，null和""这种空字符串之间的区别: null表示的是一个对象的值为空，String str = null是指str变量的并没有对象的引用，也就是说str并没有指向任何的内存空间。所以它并不是一个字符串。 而String str1 = ""，表示的是一个空字符串，只不过它的长度为零，但是它是有内存分配空间的。
2017-08-16 21:04:06
1091
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人