- 博客(15)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 大数据Hadoop之HDFS SecondaryNameNode
HDFS工作机制HDFS可以存储大文件，可以将大的文件分块，每一个块可以存储在不同节点（计算机）中，使得不在受到单台计算机存储的限制。另外，可以设置复制因子（默认为3）对每一个块设有多个复本，一旦某个节点宕机之后，还有其他的复本可以供客户端访问。NameNode和DataNode在Hadoop集群采用的是主从架构，节点主要分为NameNode和DataNode.NameNode是主节点，DataNode是从节点。NameNode存储的是元数据，功能如下：存储文件的元信息：文件大小、权限，文件有几
2020-08-09 10:39:00
1131
原创 Zookeeper java.net.BindException: Address already in use
在使用“zkServer.sh start”启动后，显示正常，但是输入zkServer.sh status则Error contacting service. It is probably not running.如下所示hadoop@master:/usr/local/zookeeper/bin$ zkServer.sh startZooKeeper JMX enabled by defaultUsing config: /usr/local/zookeeper/bin/../conf/zoo.cf
2020-08-07 21:00:44
733
原创 python map函数和filter函数
文章目录map函数filter函数map函数个人理解是对原来的序列进行操作，得到一个新的序列list3 = [1, 2, 3, 4]list4 = map(lambda x: x*2, list3)print(list4)for i in list4: print(i, end=" ") print() list5 = [x*2 for x in list3]print(list5)输出如下：从输出效果中可以看出map函数与链式推导式的效果相同。filter函数个
2020-06-29 18:02:04
1908
原创 MapReduce的核心函数——手写WordCount代码
本文是个人对Hadoop权威指南，第二章MapReduce重点总结一、 相关概念作业（Job）：客户端执行的一个工作单元，包括输入数据、MapReduce程序和配置信息任务（Task）:Hadoop把作业（Job）分为若干个任务来执行，包括Map任务和Reduce任务两类任务，这些任务运行在集群的节点上，并通过Yarn调度，如果一个任务失败，他将在另一个不同的节点上自动重新调度运行。二、 主要工作流程（1） 分片有几个分片就有几个Map任务注：分片的大小一般为hdfs的一个快的大小128MB，
2020-06-28 15:45:23
597
原创 java泛型——类、接口、方法
文章目录泛型类泛型接口泛型方法通配符与协变泛型的一个重要的作用就是类型的限定。如下代码将其arr1的类型限定为String，arr2没有进行限定可以是任意类型，即Object代码如下所示。package com.lari.demo;import java.util.ArrayList;public class Test { public static void main(String[] args){ ArrayList<String> arr1 = new
2020-06-13 22:49:59
145
原创 python之lambda函数
文章目录lambda单独使用（不常见，基础）lambda与内置函数结合使用lambda单独使用（不常见，基础）""" lambda [参数]： 返回的表达式 不能有for、if但是下面的情况可以if(即，矢量三元运算符) --条件成立的内容 if 条件 else 条件不成立的内容 lambda一般配合内置函数使用"""# 没有参数的匿名函数s = lambda : "hahhaha"# 没有参数的匿名函数sum = lambda x, y: x+y#
2020-06-01 17:55:00
214
原创 vmware workstation报错：指定的文件不是虚拟磁盘
该问题在开启虚拟机时报出，尝试快照恢复同样报错。解决方案：打开虚拟机里面的.vmx文件，修改scsi0.present = "TRUE"修改为scsi0.present = “TRUE”，将虚拟机移除后再重新打开即可。
2020-05-23 19:22:19
8139
5
原创 python函数详解
文章目录实参与形参可变对象与不可变对象的传递实参与形参1、必备参数注意：个数不能多也不能少、位置必须一一对应def print_info(name, address): print("我是%s,目前居住在%s" % (name, address))print_info("小明", "中国大陆")输出：我是小明,目前居住在中国大陆2、关键字参数注意：一般要写的话，关键字都写def print_info(name, address): print("我是%s,目前居住在%s
2020-05-18 22:42:55
122
原创 let与var的区别
let与var最主要的区别，就是有无块级作用域。var：<!DOCTYPE html><html lang="en"><head> <meta charset="UTF-8"> <title>Title</title></head><body><button>btn1...
2020-04-21 21:35:08
481
原创 MapReduce运行机制
MapReduce简介mapReduce的设计理念是“计算向数据靠拢”，采用“分而治之”的策略，将庞大的数据集切分成多个独立的小分片，并且为每个小分片单独地启动一个map任务（WordCount）,这样多个小切片可以并行地执行map任务。其中，map任务地输出又作为reduce任务地输入。适合mapReduce来处理的数据集需要满足一个前提：待处理的数据集可以分解成许多更小的数据集，且每一个更...
2020-04-18 23:24:02
1578
原创 Vue初学者——计数器
3个小程序程序1:基本显示<!DOCTYPE html><html lang="en"><head> <meta charset="UTF-8"> <title>Title</title> <script src="../js/vue.js "></script><...
2020-04-16 21:17:18
134
原创 Linux 文件管理(增、删、改、查)
（一）文件新建1、touch作用有两个：新建文件、修改文件的时间戳新建文件（在hadoop用户下的桌面）新建名为asd的文件：touch asd修改文件的时间戳在进行修改操作之前，说明一下文件在磁盘中的存储以及时间戳。文件在磁盘上的存储分为两部分，i节点和文件内容，采用stat命令可查看文件的信息，输入：stat asd，shell界面如下图所示。（i节点：包含文件名、大...
2020-04-16 12:54:53
252
原创 Linux入门 基本命令
Linux1、命令格式命令名 [选项] [参数] (ls -a /temp)其中，选项和参数都带有下划线，表示具体的数据注意，（1）Linux命令区分大小写（2）对于命令选项，命令参数来讲，{}里面的是必选项，[]里面的可选项（3）对于命令选项冲突，以后面的为主，例如 ls -lC（4）对于不知道的命令可问男人，例如 man ls2、判断命令的类型如下判断cd是内部命...
2020-04-14 15:06:43
116
原创 hdfs dfs 会报错: command not found
问题：直接使用hdfs dfs（或者 hadoop dfs、hadoop fs）会提示command not found，如下图：解决方案：hadoop@ubuntu:/usr/local/hadoop$ vi ~/.bashrc文件添加如下内容hadoop@ubuntu:/usr/local/hadoop$ source ~/.bashrc # 使设置生效...
2020-04-12 19:07:57
3425
1
原创 Spark学习笔记（厦门大学 大数据技术原理与应用）
Spark安装欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入欢迎使用Markd...
2020-04-10 17:42:00
237
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人