![](https://img-blog.csdnimg.cn/20201014180756916.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
linux
文章平均质量分 79
深海少女心
狮子女,相信“Where there is a will,there's a way!”
展开
-
linux下Zookeeper集群搭建(详细)
Zookeeper集群搭建zookeeper集群搭建是指分布式模式安装,通常是2n+1台机器组成,这是因为能够保证leader的选举能够得到多数的支持,只要超过半数的机器通过,那么leader就选举成功,所以集群的机器数量一般是奇数,当然偶数台也可以安装。zookeeper运行需要java环境,所以要先安装jdk,我们先安装leader+follower模式的集群:主机名映射修改zooke...原创 2019-05-14 19:45:35 · 207 阅读 · 0 评论 -
svn客户端的安装和使用
SVN是Subversion的简称,是一个开放源代码的版本控制系统,相较于RCS、CVS,它采用了分支管理系统,它的设计目标就是取代CVS。SVN的下载安装下载地址:https://tortoisesvn.net/downloads.zh.html安装完不要忘记重启电脑安装完成后,按下鼠标右键,会看到如下界面:SVN的常用操作1、迁出配置库内容(SVN Checkout)1)新建或...原创 2019-07-15 19:40:36 · 164 阅读 · 0 评论 -
ssh远程主机秘钥失效的解决方法
问题描述A机器通过ssh-copy-id root@IP(B)添加了链接到B机器的ssh秘钥。但是某天,B机器的密码修改或者机器重装,此时,在A机器上再次ssh IP(B)会报类似如下错误:Please contact your system administrator.Add correct host key in /root/.ssh/known_hosts to get rid of ...原创 2019-07-06 10:19:52 · 3046 阅读 · 0 评论 -
由于连接方在一段时间没有正确答复或连接的解决办法
安装好之后的checkout项目,一直出错:“由于连接方在一段时间后没有正确答复或连接的主机没有反应,连接尝试失败”,解决办法可查看一下四点:svn项目配置文件问题:解决方法:检查重新配置svn项目中的authz、passwd、svnserve.conf防火墙问题:开启了防火墙解决方法:1:关闭防火墙、2:开放3690端口svn客户端:有历史数据解决方法:清除认证数据等svn未启动...转载 2019-07-15 16:47:56 · 15530 阅读 · 0 评论 -
SVN服务器的安装与使用
什么是SVN?SVN是subversion的缩写,是一个开放源代码的版本控制系统,通过采用分支管理系统的高效管理,简而言之就是用于多个人共同开发同一个项目,实现共享资源,实现最终集中式的管理。简单来说,5个特点:上传代码/文件安装客户端备份代码/文件联名测试版本管控一、centos7操作系统安装svn服务器1、更新系统软件sudo yum update2、安装svns...原创 2019-07-15 16:29:35 · 142 阅读 · 0 评论 -
Hadoop安装步骤
一、下载二、解压三、配置环境变量四、配置原创 2019-06-28 10:42:27 · 103 阅读 · 0 评论 -
HDFS简述及其三种运行模式
Hadoop分布式文件系统(HDFS)被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统。它和现有的分布式文件系统有很多共同点。但同时,它和其他的分布式文件系统的区别也是很明显的。HDFS是一个高度容错性的系统,适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问,非常适合大规模数据集上的应用。HDFS放宽了一部分POSIX约束,来实现流式读取文件系统数据的目...原创 2019-06-27 12:01:46 · 1705 阅读 · 0 评论 -
hadoop之Hive--一个牛逼的数据仓库
一、Hive简介Hive是基于hadoop的数据仓库工具,Hive借助于hadoop的hdfs和mapreduce来实现数据存储和数据分析功能的。可以将结构化的数据文件映射为一个数据库表,并提供类sql查询功能,其本质是用户使用类sql语句,hive会转化为mr程序,从而完成数据的分析。所以Hive的用途被用来作为离线数据分析,比直接开发mr程序效率高。Hive的历史 由FaceBook 实...原创 2019-06-25 13:12:40 · 191 阅读 · 0 评论 -
hive创建table时指定分隔符
由于hive由java编写,所以row format delimited fields terminated by 后也可以使用java的方式输入特殊字符,比如用java的转义字符——反斜杠()+0+八进制数字可以代表任意ASCII码,或者用\u + 四位数字可以代表任意Unicode字符。比如hive创建表格的默认分隔符为SOH字符,ASCII码中的序号为1,所以可以用’\001’表示。数据...原创 2019-05-23 17:38:31 · 9083 阅读 · 2 评论 -
Hive映射结构化数据经验小结
1.对结构化数据的处理,都是通过操作hive中的映射表完成,比如查询数据的个数:select count(*) from t_1;总结:hive创建一张表,跟已经存在的结构化数据文件产生映射关系,映射成功之后,就可以通过sql来对结构化数据进行分析,避免写mr的麻烦。数据库和/user/hive/warehouse/xx文件夹映射,表和/user/hive/warehouse/xx文件...原创 2019-05-23 16:56:41 · 975 阅读 · 0 评论 -
Hive映射结构化数据
一、上传一个结构化数据到hdfs的目录/hivedata比如上传student.hive数据文件vi student.hive插入数据创建一个文件夹hdfs dfs -mkdir /hivedata上传至hdfs文件夹hdfs dfs -put student.hive /hivedata查看hdfs dfs -ls /hivedata二、 在hive...原创 2019-05-23 16:22:23 · 1634 阅读 · 0 评论 -
linux下的Zookeeper集群介绍
一、Zookeeper原理简介ZooKeeper是一个开放源码的分布式应用程序协调服务,它包含一个简单的原语集,分布式应用程序可以基于它实现同步服务,配置维护和命名服务等。zookeeper是一个分布式服务协调开源框架,用来解决分布式集群应用系统一致性的问题。例如避免同时读写一个数据造成的脏读问题。zookeeper是一个分布式小文件存储系统,提供类似于文件系统目录树方式的数据存储,并且可...原创 2019-05-13 14:13:55 · 153 阅读 · 0 评论 -
linux下配置环境变量
配置环境变量Linux不像window界面那样可视化更明显、操作也便利,因此大多数人对Linux的设置都比较头疼,一般来说,配置交叉编译工具链的时候需要指定编译工具的路径,此时就需要设置环境变量。接下来我们一起以配置jdk为例,配置环境变量。方法一: 修改~/.bashrc文件(该方法修改后只对当前用户有效,对该用户的所有shell都有效)用vim编辑器打开~/.bashrc文件vi ...转载 2019-05-12 11:51:05 · 172 阅读 · 0 评论 -
将本地文件上传到linux服务器上(pscp命令上传)
pscp命令将本地文件上传至linux服务器了解pscp:pscp是putty安装包所带的远程文件传输工具,使用和Linux下scp命令相似,具体的使用方法如下:PSCP和SCP功能相同,在windows下使用,只有一个文件,建议将pscp.exe放到C:\WINDOWS\system32下面,这样就可以在任何地方调用了。语法与scp相同,下面是几个有用的options。-p 拷贝文件的时...原创 2019-05-12 11:32:55 · 3471 阅读 · 1 评论 -
Linux 主机名hostname配置文件/etc/hosts详解
1.什么是主机名无论在局域网还是INTERNET上,每台主机都有一个IP地址,是为了区分此台主机和彼台主机,也就是说IP地址就是主机的门牌号。但IP地址不方便记忆,所以又有了域名。域名只是在公网(INtERNET)中存在(以实验为目的的局域网域网实验性除外),每个域名都对应一个IP地址,但一个IP 地址可有对应多个域名。域名类型 Linux sir.org 这样的;主机名是用于什么的呢?在一个...转载 2019-05-12 10:52:46 · 1253 阅读 · 0 评论 -
Spark学习之路(一)
1.linux生成密钥首先,假设我们有两台服务器,服务器名称分别是 ip157和 ip158,我们现在需要做的就是在服务器 ip157上面登录 服务器 ip158不需要输入密码就可以登录成功。下面,开始我们的配置步骤:1.服务器 ip157上生成密钥可以通过使用 ssh-keygen 命令来生成,我们可以先使用 man 命令或者是 help 命令查看具体需要哪些参数以及具体信息。[roo...原创 2019-05-12 10:22:07 · 130 阅读 · 0 评论 -
Hive和Hbase的区别
首先Hive中的表是纯逻辑表,就只是表的定义等,即表的元数据。Hive本身不存储数据,它完全依赖HDFS和MapReduce。这样就可以将结构化的数据文件映射为为一张数据库表,并提供完整的SQL查询功能,并将SQL语句最终转换为MapReduce任务进行运行。 而HBase表是物理表,适合存放非结构化的数据。Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,...原创 2019-07-15 20:08:26 · 364 阅读 · 0 评论