操作
文章平均质量分 79
深海少女心
狮子女,相信“Where there is a will,there's a way!”
展开
-
linux下Zookeeper集群搭建(详细)
Zookeeper集群搭建zookeeper集群搭建是指分布式模式安装,通常是2n+1台机器组成,这是因为能够保证leader的选举能够得到多数的支持,只要超过半数的机器通过,那么leader就选举成功,所以集群的机器数量一般是奇数,当然偶数台也可以安装。zookeeper运行需要java环境,所以要先安装jdk,我们先安装leader+follower模式的集群:主机名映射修改zooke...原创 2019-05-14 19:45:35 · 216 阅读 · 0 评论 -
svn客户端的安装和使用
SVN是Subversion的简称,是一个开放源代码的版本控制系统,相较于RCS、CVS,它采用了分支管理系统,它的设计目标就是取代CVS。SVN的下载安装下载地址:https://tortoisesvn.net/downloads.zh.html安装完不要忘记重启电脑安装完成后,按下鼠标右键,会看到如下界面:SVN的常用操作1、迁出配置库内容(SVN Checkout)1)新建或...原创 2019-07-15 19:40:36 · 193 阅读 · 0 评论 -
Eclipse导入外部jar包
在编写java代码时,为方便编程,常常会引用别人已经实现的方法,通常会封装成jar包,我们在编写时,只需引入到Eclipse中即可。下面配图说明3种Eclipse引入jar包的方式。1. 最常用的普通操作方式:基本步骤右击“项目”→选择Properties,在弹出的对话框左侧列表中选择Java Build Path,如下图所示:选择Add External JARs,就可以逐个(也可以选择多...原创 2019-06-04 16:18:41 · 653 阅读 · 0 评论 -
Flume安装部署及采集案例
一、Telnet 客户端安装为什么需要telnet? telnet就是查看某个端口是否可访问。我们在搞开发的时候,经常要用的端口就是 8080。那么你可以启动服务器,用telnet 去查看这个端口是否可用。 Telnet协议是TCP/IP协议家族中的一员,是Internet远程登陆服务的标准协议和主要方式。它为用户提供了在本地计算机上完成远程主机工作的能力。在终端使用者的电脑上使用te...原创 2019-05-29 09:39:16 · 427 阅读 · 0 评论 -
Hive映射结构化数据
一、上传一个结构化数据到hdfs的目录/hivedata比如上传student.hive数据文件vi student.hive插入数据创建一个文件夹hdfs dfs -mkdir /hivedata上传至hdfs文件夹hdfs dfs -put student.hive /hivedata查看hdfs dfs -ls /hivedata二、 在hive...原创 2019-05-23 16:22:23 · 1652 阅读 · 0 评论 -
Hive交互方式
一,shell交互Hive,用命令hive启动一个hive的shell命令行,在命令行中输入sql或者命令来和Hive交互。命令:bin/hive–在根目录下退出命令行:ctrl+c优点:sql或者命令执行完了,还在shell命令行缺点:必须可以直接远程访问到hive所在的机器。二,Hive启动为一个服务器,对外提供服务,其他机器可以通过客户端通过协议连接到服务器,来完成访问操作,这...原创 2019-05-23 14:35:56 · 707 阅读 · 0 评论 -
linux下的Zookeeper集群介绍
一、Zookeeper原理简介ZooKeeper是一个开放源码的分布式应用程序协调服务,它包含一个简单的原语集,分布式应用程序可以基于它实现同步服务,配置维护和命名服务等。zookeeper是一个分布式服务协调开源框架,用来解决分布式集群应用系统一致性的问题。例如避免同时读写一个数据造成的脏读问题。zookeeper是一个分布式小文件存储系统,提供类似于文件系统目录树方式的数据存储,并且可...原创 2019-05-13 14:13:55 · 159 阅读 · 0 评论 -
linux下配置环境变量
配置环境变量Linux不像window界面那样可视化更明显、操作也便利,因此大多数人对Linux的设置都比较头疼,一般来说,配置交叉编译工具链的时候需要指定编译工具的路径,此时就需要设置环境变量。接下来我们一起以配置jdk为例,配置环境变量。方法一: 修改~/.bashrc文件(该方法修改后只对当前用户有效,对该用户的所有shell都有效)用vim编辑器打开~/.bashrc文件vi ...转载 2019-05-12 11:51:05 · 180 阅读 · 0 评论 -
将本地文件上传到linux服务器上(pscp命令上传)
pscp命令将本地文件上传至linux服务器了解pscp:pscp是putty安装包所带的远程文件传输工具,使用和Linux下scp命令相似,具体的使用方法如下:PSCP和SCP功能相同,在windows下使用,只有一个文件,建议将pscp.exe放到C:\WINDOWS\system32下面,这样就可以在任何地方调用了。语法与scp相同,下面是几个有用的options。-p 拷贝文件的时...原创 2019-05-12 11:32:55 · 3544 阅读 · 1 评论 -
Spark学习之路(一)
1.linux生成密钥首先,假设我们有两台服务器,服务器名称分别是 ip157和 ip158,我们现在需要做的就是在服务器 ip157上面登录 服务器 ip158不需要输入密码就可以登录成功。下面,开始我们的配置步骤:1.服务器 ip157上生成密钥可以通过使用 ssh-keygen 命令来生成,我们可以先使用 man 命令或者是 help 命令查看具体需要哪些参数以及具体信息。[roo...原创 2019-05-12 10:22:07 · 143 阅读 · 0 评论 -
GitHub使用方法
1.创建仓库,在GitHub中点击New repository接着Start a Project即可:没有仓库,会显示如下图所示:现在我新建一个测试仓库Test-mr:Step1.填写必要信息:Step2.浏览仓库主页2.创建文件在刚刚的仓库主页中点击 Create new file 按钮,即可进入新文件页面:4 删除文件在指定的文件名处直接点击文件名链接,即可进入文件信息...原创 2019-07-16 16:36:00 · 158 阅读 · 0 评论