XiaoLu Liu
码龄9年
求更新 关注
提问 私信
  • 博客:21,869
    21,869
    总访问量
  • 15
    原创
  • 2
    粉丝
  • 44
    关注
IP属地以运营商信息为准,境内显示到省(区、市),境外显示到国家(地区)
IP 属地:北京市
加入CSDN时间: 2016-04-28

个人简介:每天整理一点点

博客简介:

Deer的博客

博客描述:
留下学习的痕迹
查看详细资料
个人成就
  • 获得19次点赞
  • 内容获得6次评论
  • 获得40次收藏
  • 博客总排名1,534,911名
创作历程
  • 15篇
    2020年
成就勋章
TA的专栏
  • 西瓜书
  • hadoop系列
    5篇
  • ZooKeeper
    1篇
  • python
    2篇
  • Java
    1篇
  • 软件安装与使用
    1篇
  • Vue
  • Linux
    2篇

TA关注的专栏 4

TA关注的收藏夹 0

TA关注的社区 2

TA参与的活动 0

兴趣领域 设置
  • 大数据
    hadoophivespark
创作活动更多

新星杯·14天创作挑战营·第13期

这是一个以写作博客为目的的创作活动,旨在鼓励大学生博主们挖掘自己的创作潜能,展现自己的写作才华。如果你是一位热爱写作的、想要展现自己创作才华的小伙伴,那么,快来参加吧!我们一起发掘写作的魅力,书写出属于我们的故事。我们诚挚邀请你们参加为期14天的创作挑战赛!注: 1、参赛者可以进入活动群进行交流、互相鼓励与支持(开卷),虚竹哥会分享创作心得和涨粉心得,答疑及活动群请见:https://bbs.csdn.net/topics/619781944 【进活动群,得奖概率会更大,因为有辅导】 2、文章质量分查询:https://www.csdn.net/qc

89人参与 去参加
  • 最近
  • 文章
  • 专栏
  • 代码仓
  • 资源
  • 收藏
  • 关注/订阅/互动
更多
  • 最近

  • 文章

  • 专栏

  • 代码仓

  • 资源

  • 收藏

  • 关注/订阅/互动

  • 社区

  • 帖子

  • 问答

  • 课程

  • 视频

搜索 取消

mapreduce重点笔记.pdf

发布资源 2020.08.01 ·
pdf

大数据Hadoop之HDFS SecondaryNameNode

HDFS工作机制HDFS可以存储大文件,可以将大的文件分块,每一个块可以存储在不同节点(计算机)中,使得不在受到单台计算机存储的限制。另外,可以设置复制因子(默认为3)对每一个块设有多个复本,一旦某个节点宕机之后,还有其他的复本可以供客户端访问。NameNode和DataNode在Hadoop集群采用的是主从架构,节点主要分为NameNode和DataNode.NameNode是主节点,DataNode是从节点。NameNode存储的是元数据,功能如下:存储文件的元信息:文件大小、权限,文件有几
原创
博文更新于 2020.08.09 ·
1317 阅读 ·
0 点赞 ·
0 评论 ·
2 收藏

Zookeeper java.net.BindException: Address already in use

在使用“zkServer.sh start”启动后,显示正常,但是输入zkServer.sh status则Error contacting service. It is probably not running.如下所示hadoop@master:/usr/local/zookeeper/bin$ zkServer.sh startZooKeeper JMX enabled by defaultUsing config: /usr/local/zookeeper/bin/../conf/zoo.cf
原创
博文更新于 2020.08.07 ·
818 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

python map函数和filter函数

文章目录map函数filter函数map函数个人理解是对原来的序列进行操作,得到一个新的序列list3 = [1, 2, 3, 4]list4 = map(lambda x: x*2, list3)print(list4)for i in list4: print(i, end=" ") print() list5 = [x*2 for x in list3]print(list5)输出如下:从输出效果中可以看出map函数与链式推导式的效果相同。filter函数个
原创
博文更新于 2020.06.29 ·
2025 阅读 ·
0 点赞 ·
0 评论 ·
4 收藏

python之lambda函数

文章目录lambda单独使用(不常见,基础)lambda与内置函数结合使用lambda单独使用(不常见,基础)""" lambda [参数]: 返回的表达式 不能有for、if但是下面的情况可以if(即,矢量三元运算符) --条件成立的内容 if 条件 else 条件不成立的内容 lambda一般配合内置函数使用"""# 没有参数的匿名函数s = lambda : "hahhaha"# 没有参数的匿名函数sum = lambda x, y: x+y#
原创
博文更新于 2020.06.29 ·
259 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

MapReduce的核心函数——手写WordCount代码

本文是个人对Hadoop权威指南,第二章MapReduce重点总结一、 相关概念作业(Job):客户端执行的一个工作单元,包括输入数据、MapReduce程序和配置信息任务(Task):Hadoop把作业(Job)分为若干个任务来执行,包括Map任务和Reduce任务两类任务,这些任务运行在集群的节点上,并通过Yarn调度,如果一个任务失败,他将在另一个不同的节点上自动重新调度运行。二、 主要工作流程(1) 分片有几个分片就有几个Map任务注:分片的大小一般为hdfs的一个快的大小128MB,
原创
博文更新于 2020.06.28 ·
699 阅读 ·
0 点赞 ·
0 评论 ·
2 收藏

java泛型——类、接口、方法

文章目录泛型类泛型接口泛型方法通配符与协变泛型的一个重要的作用就是类型的限定。如下代码将其arr1的类型限定为String,arr2没有进行限定可以是任意类型,即Object代码如下所示。package com.lari.demo;import java.util.ArrayList;public class Test { public static void main(String[] args){ ArrayList<String> arr1 = new
原创
博文更新于 2020.06.13 ·
186 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

vmware workstation报错:指定的文件不是虚拟磁盘

该问题在开启虚拟机时报出,尝试快照恢复同样报错。解决方案:打开虚拟机里面的.vmx文件,修改scsi0.present = "TRUE"修改为scsi0.present = “TRUE”,将虚拟机移除后再重新打开即可。
原创
博文更新于 2020.05.23 ·
9020 阅读 ·
14 点赞 ·
5 评论 ·
9 收藏

python函数详解

文章目录实参与形参可变对象与不可变对象的传递实参与形参1、必备参数注意:个数不能多也不能少、位置必须一一对应def print_info(name, address): print("我是%s,目前居住在%s" % (name, address))print_info("小明", "中国大陆")输出:我是小明,目前居住在中国大陆2、关键字参数注意:一般要写的话,关键字都写def print_info(name, address): print("我是%s,目前居住在%s
原创
博文更新于 2020.05.22 ·
167 阅读 ·
1 点赞 ·
0 评论 ·
0 收藏

let与var的区别

let与var最主要的区别,就是有无块级作用域。var:<!DOCTYPE html><html lang="en"><head> <meta charset="UTF-8"> <title>Title</title></head><body><button>btn1...
原创
博文更新于 2020.04.21 ·
543 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

MapReduce运行机制

MapReduce简介mapReduce的设计理念是“计算向数据靠拢”,采用“分而治之”的策略,将庞大的数据集切分成多个独立的小分片,并且为每个小分片单独地启动一个map任务(WordCount),这样多个小切片可以并行地执行map任务。其中,map任务地输出又作为reduce任务地输入。适合mapReduce来处理的数据集需要满足一个前提:待处理的数据集可以分解成许多更小的数据集,且每一个更...
原创
博文更新于 2020.04.21 ·
1751 阅读 ·
1 点赞 ·
0 评论 ·
6 收藏

Vue初学者——计数器

3个小程序程序1:基本显示<!DOCTYPE html><html lang="en"><head> <meta charset="UTF-8"> <title>Title</title> <script src="../js/vue.js "></script><...
原创
博文更新于 2020.04.19 ·
194 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

Linux 文件管理(增、删、改、查)

(一)文件新建1、touch作用有两个:新建文件、修改文件的时间戳新建文件(在hadoop用户下的桌面)新建名为asd的文件:touch asd修改文件的时间戳在进行修改操作之前,说明一下文件在磁盘中的存储以及时间戳。文件在磁盘上的存储分为两部分,i节点和文件内容,采用stat命令可查看文件的信息,输入:stat asd,shell界面如下图所示。(i节点:包含文件名、大...
原创
博文更新于 2020.04.16 ·
308 阅读 ·
0 点赞 ·
0 评论 ·
2 收藏

Linux入门 基本命令

Linux1、命令格式命令名 [选项] [参数] (ls -a /temp)其中,选项和参数都带有下划线,表示具体的数据注意,(1)Linux命令区分大小写​(2)对于命令选项,命令参数来讲,{}里面的是必选项,[]里面的可选项​(3)对于命令选项冲突,以后面的为主,例如 ls -lC​(4)对于不知道的命令可问男人,例如 man ls2、判断命令的类型如下判断cd是内部命...
原创
博文更新于 2020.04.15 ·
159 阅读 ·
0 点赞 ·
0 评论 ·
1 收藏

hdfs dfs 会报错: command not found

问题:直接使用hdfs dfs(或者 hadoop dfs、hadoop fs)会提示command not found,如下图:解决方案:hadoop@ubuntu:/usr/local/hadoop$ vi ~/.bashrc文件添加如下内容hadoop@ubuntu:/usr/local/hadoop$ source ~/.bashrc # 使设置生效...
原创
博文更新于 2020.04.12 ·
3994 阅读 ·
3 点赞 ·
1 评论 ·
14 收藏

Spark学习笔记(厦门大学 大数据技术原理与应用)

Spark安装欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题,有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能,丰富你的文章UML 图表FLowchart流程图导出与导入导出导入欢迎使用Markd...
原创
博文更新于 2020.04.11 ·
284 阅读 ·
0 点赞 ·
0 评论 ·
1 收藏
加载更多