大数据技术
大数据技术
__zzz__
做有理想,有本领,有担当的青年一代
展开
-
util.sh 脚本
#!/bin/bashfor i in zzz@hadoop101 zzz@hadoop102 zzz@hadoop103do echo "=========== $i ===========" ssh $i '/opt/module/jdk1.8.0_144/bin/jps'done/home/zzz/bin目录下touc...原创 2020-04-12 19:54:26 · 562 阅读 · 0 评论 -
Xshell发送命令到全部会话
转载 2020-04-12 19:26:19 · 1700 阅读 · 0 评论 -
scala惰性函数
惰性计算(尽可能延迟表达式求值)是许多函数式编程语言的特性。惰性集合在需要时提供其元素,无需预先计算它们,这带来了一些好处。首先,您可以将耗时的计算推迟到绝对需要的时候。其次,您可以创造无限个集合,只要它们继续收到请求,就会继续提供元素。函数的惰性使用让您能够得到更高效的代码。Java 并没有为惰性提供原生支持,Scala提供了。介绍当函数返回值被声明为lazy时,函数的执行将被推迟,直到...原创 2020-03-16 13:03:25 · 395 阅读 · 0 评论 -
HDFS的数据流
HDFS写数据流程剖析文件写入1)客户端通过Distributed FileSystem模块向NameNode请求上传文件,NameNode检查目标文件是否已存在,父目录是否存在。2)NameNode返回是否可以上传。(如果已经存在,会返回already exist)3)客户端请求第一个 Block上传到哪几个DataNode服务器上。4)NameNode返回3个DataN...原创 2020-03-15 18:58:17 · 242 阅读 · 0 评论 -
HDFS的API操作
准备工作:IDEA > HDFS客户端准备目录文件上传文件下载文件夹删除修改文件名称查看文件详情文件和文件夹的判断完整代码文件上传注意conf.set("dfs.replication","2");的位置,位置不一样,设置的副本数不一样HDFS参数优先级说明(由高到低):代码中 > resources中的hdfs-site.xml > ...原创 2020-03-15 16:01:56 · 385 阅读 · 0 评论 -
scala while循环中断
Scala内置控制结构特地去掉了break和continue,是为了更好的适应函数化编程,推荐使用函数式的风格解决break和contine的功能,而不是一个关键字。如何实现continue的效果Scala内置控制结构特地也去掉了continue,是为了更好的适应函数化编程,可以使用if – else 或是 循环守卫实现continue的效果break的应用实例:import...原创 2020-03-11 18:28:13 · 608 阅读 · 0 评论 -
IDEA > HDFS客户端准备
在此之前:先进行在IDEA 中为Maven 配置阿里云镜像源1、将资料包中的压缩包解压到一个没有中文的目录下(想要这个版本的压缩包可以私聊我)2、配置HADOOP_HOME环境变量3、配置Path环境变量4、创建一个Maven工程HDFSClientDemo5、在pom.xml中添加依赖<dependencie...原创 2020-03-10 11:08:10 · 309 阅读 · 0 评论 -
在IDEA 中为Maven 配置阿里云镜像源
打开IntelliJ IDEA->Settings ->Build, Execution, Deployment -> Build Tools > Maven注意要勾选上override自己创建一个settings.xml文件,内容如下<settings xmlns="http://maven.apache.org/SETTINGS/1.0.0"...原创 2020-03-10 10:31:00 · 759 阅读 · 0 评论 -
在linux中只将“桌面”修改成“Desktop”而系统仍然使用中文
在安装好centos系统以后,它的Desktop,Downloads等文件夹都是中文的,桌面,下载等,这样在使用cd命令时特别不方便解决方法一:下载一个中文输入法,安装解决方法二:①:修改il8n文件命令:vim /etc/sysconfig/i18n将LANG="zh_CN.UTF-8"修改为LANG="en_US.UTF-8",重启系统,它会提示你标准文件夹的语言是否修改,...原创 2020-03-02 18:47:05 · 3693 阅读 · 1 评论 -
linux的目录结构
基本介绍:linux的文件系统是采用级层式的树状目录结构,在此结构中的最上层是根目录“/”,然后在此目录下再创建其他的目录。在Linux世界里,一切皆文件(即使是一个硬件设备,也是使用文本来标志)/lib:系统开机所需要最基本的动态连接共享库。几乎所有的应用程序都需要用到这些共享库。/lost+found:这个目录一般情况下是空的,当系统非法关机后,这里就存放了一些文件...原创 2020-03-02 15:00:44 · 173 阅读 · 0 评论 -
Hadoop运行模式 之 伪分布式运行模式
什么是伪分布式模式?它与本地运行模式以及完全分布式模式有什么区别?伪分布式的配置信息,完全是按照完全分布式的模式去搭建的,但是它只有一台服务器,可以用于学习和测试,真正的开发中不可以使用。etc/hadoop/core-site.xml:指定HDFS中NameNode的地址hadoop.tmp.dir:hadoop运行时产生文件的存储目录...原创 2020-03-01 19:10:48 · 690 阅读 · 0 评论 -
Hadoop运行模式 之 本地运行模式
Hadoop的运行模式包括:本地模式、伪分布式模式以及完全分布式模式Hadoop官网地址:https://hadoop.apache.org/本次使用的Hadoop的版本是2.7.2官网文档:https://hadoop.apache.org/docs/r2.7.2/hadoop-project-dist/hadoop-common/SingleCluster.html一、官...原创 2020-02-29 22:22:55 · 349 阅读 · 1 评论 -
Hadoop运行环境搭建
一、虚拟机环境准备1、克隆虚拟机参考:VMware15克隆虚拟机Centos2、修改克隆虚拟机的静态IP原创 2020-02-28 19:55:22 · 327 阅读 · 0 评论 -
Linux 用户管理
Linux中有用户、用户组、家目录的概念Linux用户至少需要属于一个组。/home/目录下有各个创建的用户对应的家目录,当用户登陆时,会自动的进入到自己的家目录。目录添加用户指定/修改密码删除用户查询用户信息切换用户查看当前用户/登录用户用户组新增组删除组增加用户时直接加上组信息修改用户组用户和组的相关文件用户配置文件(用户信息) ...原创 2020-02-28 17:14:16 · 231 阅读 · 0 评论 -
Linux 网络配置
仅仅通过点击的方式连接网络,获取的IP是动态的,有可能重新启动系统之后,IP就变了,所以不能满足开发的需求,所以需要学习网络配置方面的知识。一、查看虚拟网络编辑器二、修改ip地址(修改虚拟网络的ip/vmnet8虚拟网卡)三、查看网关四、在windows中查看VMnet8网络配置1、cmd输入ipconfig2、界面查看右键点击无线网图标 -->...原创 2020-02-28 15:08:14 · 403 阅读 · 0 评论 -
Hadoop 三大发行版本
Hadoop三大发行版本:Apache、Cloudera、Hortonworks。Apache版本最原始(最基础)的版本,对于入门学习最好。Cloudera在大型互联网企业中用的较多。Hortonworks文档较好。1. Apache Hadoop官网地址:http://hadoop.apache.org/releases.html下载地址:https://archive....原创 2020-02-26 20:47:25 · 1814 阅读 · 0 评论 -
关联scala源码
查看源码, 选择要查看的方法或者类, 输入 ctrl + b首先需要去官网下载sources将下载好的压缩包拷贝到scala安装的lib目录下,解压ctrl+b以后原创 2020-02-26 11:34:11 · 405 阅读 · 2 评论 -
VMware15克隆虚拟机Centos
在克隆虚拟机之前,我们需要了解以下文件:1、/etc/udev/rules.d/70-persistent-net.rules这是网卡有关信息的配置文件,我们可以先查看一下master的网卡信息(当然也可以用ifconfig命令查看)要注意的是网卡名称以及MAC地址。MAC地址(产品出产后Mac地址就固定了)用于在网络中唯一标示一个网卡,一台设备若有一或多个网卡,则每个网卡都需要并都会...原创 2020-02-21 21:40:22 · 971 阅读 · 0 评论 -
win10 VMware15 安装 CentOS6.4 64位(慢慢弄吧,别急)
参考:CentOS 6.4安装(超级详细图解教程)原创 2020-02-17 13:36:22 · 269 阅读 · 0 评论