- 博客(8)
- 资源 (6)
- 收藏
- 关注
RSS订阅原创 Hadoop-YARN
Yarn是Yet Another Resource Negotiator的缩写。根据Yarn中文官网的显示，这是一个快速、可靠、安全的依赖管理工具。在Hadoop 1.0及更早版本中，我们只能运行MapReduce，这导致图形处理、迭代计算等任务无法有效执行。在Hadoop 2.0及后续版本中，MapReduce的调度部分被外部化并重新编写为名为Yarn的新组件，Yarn最大的特点是执行调度与Ha...
2019-07-22 11:32:13
136
原创 Hadoop-MapReduce
MapReduce定义MapTask & ReduceTask输入（格式k, v）数据集 => map映射成一个中间数据集（k, v） => reduce相同的key为一组，调用一次reduce方法，方法内迭代这一组数据进行计算MapReduce理解Map：读懂数据；映射为KV模型；并行分布式；计算向数据移动Reduce：数据全量/分量加工；Reduce中可...
2019-07-18 17:46:48
118
原创 高并发与负载均衡
网络TCP-IP基础OSI 七层参考模型：7）应用层（nginx软件）：http、smtp、ssh6）表示层5）会话层4）传输层控制（lvs 内核）：三次握手 >> (传输数据) >> 四次分手协议：tcp（面向连接、可靠）、udp，连接唯一性通过ip+端口号，保证每个连接互不干扰Linux端口号查询：netstat -natp3）网络层：找到下一跳协议：i...
2019-07-16 16:43:25
312
原创 微众银行面试
机缘巧合，其实并没有换工作的想法，却收到了微众的面试邀请，就想着去看看当是增长见识吧，因为已经好久没准备面试的事情了，而且微众毕竟作为腾讯系的看起来好像也不错。说实话那边离地铁站是真的远，不过办公环境确实很好，参照10楼的随手拍。By the way，在那边居然碰到一个大学同学，之前软件学院的，他也在面试。废话不多说直接进入主题吧，整个过程感觉答得也不是很好，但也应该没有很差吧吧吧，全局大...
2019-07-16 09:22:01
2408
2
原创 Linux必会知识点及命令
基本命令type：命令类型 -外部命令 & 内部命令help：内部命令帮助man：帮助手册whereis：定位命令file：文件类型echo：打印到标准输出$PATH：环境变量：路径pwd：当前路径按住Ctrl删除字符文件系统df -h 显示磁盘使用情况du -sh ./* 显示文件系统使用情况文件系统层次化标准/boot： 系统...
2019-07-11 18:04:40
164
原创 Hadoop环境搭建
Hadoop学习总体参考：https://gitbook.cn/books/5954c9600326c7705af8a92a/index.html下面是简要记录与留痕虚拟机准备1.VMware安装下载地址：https://my.vmware.com/cn/web/vmware/details?downloadGroup=WKST-1415-WIN&productId=686&am...
2019-07-10 22:20:18
259
原创 Hadoop-HDFS分布式文件系统
Hadoop 生态圈的基本组成部分是 Hadoop 分布式文件系统（HDFS）。HDFS 是一种数据分布式保存机制，数据被保存在计算机集群上。数据写入一次，读取多次。HDFS为 HBase 等工具提供了基础，源于谷歌的GFS。1 基本原理HDFS采用了主从（Master/Slave）结构模型，一个HDFS集群包括一个名称节点（NameNode）和若干个数据节点（DataNode）。名称节点...
2019-07-10 14:27:11
331
原创 悄悄是别离的笙箫，夏虫也为我沉默
早就知道相聚的时光不会很长了，所以在这屈指可数的日子里不敢肆意挥霍但又不知怎么去最大化地利用，还没说完的话赶紧说，还没解决的问题赶紧提，还没看完的书赶紧看······待办事情很多，时间明显不够。时光匆匆，指缝间偷偷流走的点点滴滴，假以时日，都足以汇聚成江河湖海，而且根据墨菲定律越怕什么就会越来什么。冥冥中，他总感觉有一股无形的力量在推着往前走，起初的不经意是蜻蜓点水般的试探，却还是走到了离别的...
2019-07-08 10:02:39
388
2
JAR/WAR反编译
2019-03-22
maven的settings.xml配置
2019-02-21
oracle大数据导出工具sqluldr2
2018-11-02
简繁体互转DEMO（附带jar包）
2018-06-15
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人