Linux系统
伟红-long-term
这个作者很懒,什么都没留下…
展开
-
Spark优化总结
原创 2019-10-17 16:19:13 · 165 阅读 · 0 评论 -
Hadoop-HDFS-脑图展示-读写流程
原创 2019-07-27 14:25:11 · 135 阅读 · 0 评论 -
HBase搭建
一、伪分布式hbase-env.sh中配置JAVA_HOME配置hbase-site.xml如下<property><name>hbase.rootdir</name><value>file:///home/testuser/hbase</value></property><property>&...原创 2019-08-06 12:37:33 · 109 阅读 · 0 评论 -
Hive知识点整理-思维导图
原创 2019-08-08 16:39:25 · 885 阅读 · 0 评论 -
HBase知识整理-思维导图
原创 2019-08-08 22:36:14 · 274 阅读 · 0 评论 -
HBase知识整理二-思维导图
原创 2019-08-09 08:38:07 · 323 阅读 · 1 评论 -
INFO - OutputCommitter set in config null & INFO - Failed to createOutputCommitter
INFO - Failed to createOutputCommitterjava.lang.NullPointerExceptionat org.apache.hadoop.mapred.LocalJobRunner$Job.createOutputCommitter(LocalJobRunner.java:489)at org.apache.hadoop.mapred.LocalJob...原创 2019-08-14 18:49:23 · 689 阅读 · 0 评论 -
Redis知识点总结-脑图展示
原创 2019-08-24 22:30:53 · 363 阅读 · 0 评论 -
Zookeeper知识点总结-脑图展示
原创 2019-08-25 18:36:49 · 529 阅读 · 0 评论 -
Elasticsearch知识点整理-脑图展示
原创 2019-08-26 08:38:55 · 795 阅读 · 0 评论 -
redis持久化
原创 2019-08-27 08:40:07 · 131 阅读 · 0 评论 -
Scala知识点总结-思维导图
原创 2019-08-30 08:15:04 · 285 阅读 · 0 评论 -
图解Spark任务提交执行流程总结
一、Spark基于Standalone任务提交根据Driver在集群中的位置分为两种模式:一种是Standalone-Clien模式,另一种是Standalone-Cluster模式(1)Standalone-Clien模式Standalone-Clien模式,Driver运行在本地的客户端上提交命令./spark-submit --master spark://node1:70...原创 2019-08-30 22:19:12 · 860 阅读 · 0 评论 -
Storm知识点总结-思维导图
原创 2019-09-02 22:32:27 · 760 阅读 · 0 评论 -
Hadoop-MapReduce和Yarn-搭建
建立在Hadoop-ha搭建的基础上一、MapReduce配置hadoop的window版本解压到E:\usr\local\hadoop-2.6.5,要求路径不能有特殊符号在Windows中配置两个环境变量:HADOOP_USER_NAME=rootHADOOP_HOME=E:\usr\local\hadoop-2.6.5将hadoop的bin和sbin添加到PATH中%HA...原创 2019-07-26 20:58:25 · 169 阅读 · 0 评论 -
Hadoop-Yarn资源调度流程
用户向YARN提交作业(应用程序),一个应用程序对应一个ApplicationMaster(在Container中)。ResourceManager为该应用程序分配第一个Container,Container生命周期由NodeManager管理,NodeManager与ResourceManager保持心跳ApplicationMaster作出切片清单(文件分块),向ResourceMana...原创 2019-07-26 17:05:53 · 373 阅读 · 0 评论 -
Hadoop-HDFS三-读流程-脑图展示
Hadoop-Hdfs一介绍-脑图展示Hadoop-HDFS二-写流程-脑图展示原创 2019-07-31 15:13:10 · 189 阅读 · 0 评论 -
Linux:vi编辑器,正则表达式,文本处理cut、sort、wc、sed、awk,用户权限
vi全屏文本编辑器打开文件vi filename:打开文件vi +3 filename:打开文件并定位第3行vi + filename:打开文件并定位至最后一行vi +/pattern:打开文件并定位至第一次被pattern匹配到的行的行首关闭文件末行模式:q 退出,没有动过文件:wq 保存并退出:q! 不保存退出:w 保存:w! 强行保存:wq --> :x...原创 2019-07-19 08:50:40 · 411 阅读 · 0 评论 -
Linux软件安装三种方式:编译安装,rpm,yum(配置资源库/仓库)
linux软件安装三种:编译安装,rpm,yum编译安装多次执行./configure执行依赖关系,生成Makefile(配置文件),执行make编译安装命令,执行make install拷贝三步:执行依赖关系,编译,安装拷贝案例:编译安装nginx下载源码,tar xf 解压,README./configure:创建Makefilemake:编译make install...原创 2019-07-19 17:55:24 · 920 阅读 · 0 评论 -
Linux安装python,采用编译安装
在linux下安装Python-3.6.1.tgz提示:Python3.6所依赖的软件包为:gcc gcc-c++ zlib-devel bzip2-devel openssl-devel ncurses-devel sqlite-devel readline-devel tk-devel gdbm-devel db4-devel xz-devel下载源码Python-3.6.1.tgz...原创 2019-07-19 20:49:27 · 159 阅读 · 0 评论 -
Hadoop-hdfs-伪分布式环境搭建
关闭防火墙,关闭selinuxservice iptables stopvi /etc/selinux/config,使SELINUX=disabledinit 6,重启yum install ntp,安装时间服务器chkconfig ntpd on,开机启动sevice ntpd start,现在开启在C:/windows/system32/drivers/etc/h...原创 2019-07-25 09:17:38 · 91 阅读 · 0 评论 -
Linux Shell(bash)变量-脑图展示
原创 2019-07-21 13:57:57 · 112 阅读 · 0 评论 -
Linux简单常用命令
转载 2019-07-21 14:02:44 · 70 阅读 · 0 评论 -
Hadoop-hdfs完全分布式环境搭建
开启四台虚拟机,有jdk,hadoop,且配置好环境变量构建免密钥,选择一台虚拟机作为NameNode查看是否有免密钥:ll ~/.ssh没有,就执行ssh-keygen -t dsa -P ‘’ -f ~/.ssh/id_dsacat ~/.ssh/id_dsa.pub > ~/.ssh/authorized_keysll ~/.ssh,将id_dsa.pub发给其他...原创 2019-07-25 13:16:55 · 101 阅读 · 0 评论 -
5.7.18版本MYSQL安装
需要下载mysql的四个rpm包:mysql-community-client-5.7.18-1.el6.x86_64.rpmmysql-community-common-5.7.18-1.el6.x86_64.rpmmysql-community-libs-5.7.18-1.el6.x86_64.rpmmysql-community-server-5.7.18-1.el6.x86_64....原创 2019-08-02 19:56:41 · 184 阅读 · 0 评论 -
Shell输入输出重定向-脑图显示
原创 2019-07-21 17:16:50 · 93 阅读 · 0 评论 -
Hadoop-hdfs-ha 配置-搭建
需要软件:jdk、hadoop、zookeeperHadoop-hdfs完全分布式环境搭建,已写jdk、hadoop配置一、zokeeper集群搭建,四台虚拟机:node1,node2,node3,node4将zookeeper.tar.gz上传到node2、node3、node4解压:tar -zxf zookeeper-3.4.6.tar.gz -C /opt配置环境变量)ex...原创 2019-07-25 21:53:19 · 174 阅读 · 0 评论 -
Hadoop2.x中NA和Federation(联邦)-脑图展示
原创 2019-07-25 22:27:03 · 122 阅读 · 0 评论 -
Shell编程-脑图展示:shell变量,数组,运算符,流程控制,重定向,函数
原创 2019-07-22 12:36:00 · 150 阅读 · 0 评论 -
Hadoop-Hdfs一介绍-脑图展示
Hadoop-HDFS二-写流程-脑图展示Hadoop-HDFS三-读流程-脑图展示原创 2019-07-31 15:09:40 · 162 阅读 · 0 评论 -
Hadoop-HDFS二-写流程-脑图展示
Hadoop-Hdfs一介绍-脑图展示Hadoop-HDFS三-读流程-脑图展示原创 2019-07-31 15:11:21 · 190 阅读 · 0 评论 -
Linux,虚拟机安装,Linux简单命令,Linux文件类型和命令,大数据使用的软件
Linux虚拟机安装下载CentOS.ios镜像文件安装vmware安装Linux初步配置克隆完善配置设置IPvi /etc/syscomfig/network-scripts/ifcfg-eth0删除UUID和MAC地址ONBOOT=yes,BOOTPROTO=static,按a切换输入模式IPADDR、NETMASK和GATEWAY在VM中"编辑>虚拟网络编辑器"...原创 2019-07-18 10:26:30 · 195 阅读 · 0 评论