编程软件配置
cs_mycsdn
慢慢整理所学的知识
展开
-
jdk安装
JDK是 Java 语言的软件开发工具包,JDK(TM)8 64位简而言之就是一款针对java编程的软件工具,是学习java编程的第一步。JDK作为Java语言的软件开发工具包,主要用于移动设备、嵌入设备的应用程序。LDK的全称Java Development Kit,是Java语言的软件开发工具包,是整个java开发的核心,包含了JAVA的运行环境(JVM+Java系统类库)和JAVA工具下...原创 2018-08-22 09:43:11 · 523 阅读 · 0 评论 -
HBase安装
HBase是一个分布式的、面向列的开源数据库:它是一个结构化数据的分布式存储系统”。HBase在Hadoop之上提供了类似于Bigtable的能力。HBase是Apache的Hadoop项目的子项目。HBase不同于一般的关系数据库,它是一个适合于非结构化数据存储的数据库。另一个不同的是HBase基于列的而不是基于行的模式。是nosql数据库前置环境:jdk,Hadoop,zookeeper...原创 2018-10-08 17:09:20 · 158 阅读 · 0 评论 -
sqoop安装
Sqoop是一款开源的工具,主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql...)间进行数据的传递,可以将一个关系型数据库(例如 : MySQL ,Oracle ,Postgres等)中的数据导进到Hadoop的HDFS中,也可以将HDFS的数据导进到关系型数据库中。前置环境:jdk,Hadoop,mysql,hbase,hive,zookeeper安装...原创 2018-10-08 17:09:17 · 182 阅读 · 0 评论 -
zookeeper伪分布式配置安装
Zookeeper不但可以在单机上运行单机模式Zookeeper,而且可以在单机模拟集群模式 Zookeeper的运行,也就是将不同节点运行在同一台机器。我们知道伪分布模式下Hadoop的操作和分布式模式下有着很大的不同,但是在集群为分布 式模式下对Zookeeper的操作却和集群模式下没有本质的区别。显然,集群伪分布式模式为我们体验Zookeeper和做一些尝试性的实验提供了很大 的便利。比如,...原创 2018-09-07 17:08:18 · 461 阅读 · 0 评论 -
zookeeper单机配置安装
1 zookeeper简介(面试)ZooKeeper是一个分布式的,开放源码的分布式应用程序协调服务,(是Google的Chubby一个开源的实现),是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服务的软件,提供的功能包括:配置维护、域名服务、分布式同步、组服务等。 2 为什么需要zookeeper?分布式应用中出现“部分失败”(例如两个节点通过网络发送消息,...原创 2018-09-07 15:35:52 · 270 阅读 · 0 评论 -
Flume 组件
flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。支持在日志系统中定制各类数据发送方,用于收集数据;同时,Flume提供对数据进行简单处理, 并写到各种数据接受方(比如文本、HDFS、Hbase等)的能力 。 flume的数据流由事件(Event)贯穿始终。事件是Flume的基本数据单位,它携带日志数据(字节数组形式)并且携带有头信息,这些Event由Agent外部...原创 2018-09-10 20:46:33 · 565 阅读 · 0 评论 -
Kafka单机伪分布式安装
环境: 虚拟机 vmware 操作系统 红帽7(red hat 7)、centos7jdk1.8zookeeper 3.4.6安装配置解压:tar -zvxf kafka_2.11-1.1.0.tgz vi /etc/profileJAVA_HOME=/user/java/jdk1.8.0_144JRE_HOME=/user/java/...原创 2018-09-10 15:34:40 · 286 阅读 · 0 评论 -
kafka分布式集群安装
环境: 虚拟机 vmware 操作系统 红帽7(red hat 7)、centos7jdk1.8zookeeper 3.4.6安装配置解压:tar -zvxf kafka_2.11-1.1.0.tgz vi /etc/profileJAVA_HOME=/user/java/jdk1.8.0_144JRE_HOME=/user/java/...转载 2018-09-10 14:51:59 · 414 阅读 · 0 评论 -
tomcat
是web的服务器的一种,在国内较为常用。特点:使用jvm为基础,支持http协议,支持多线程,能够保存http所不支持的数据存储功能。默认端口为8080。eclipse配置tomcat软件解压到英文目录:D:\software\apache-tomcat-7.0.82eclipse→Window→preferences→Server→Runtime Environments→右侧Add...原创 2018-09-12 22:35:13 · 190 阅读 · 0 评论 -
Linux环境下hive的安装
一 Hive简介在Hadoop生态圈中属于数据仓库的角色。Hive能够管理Hadoop中的数据,同时可以查询Hadoop中的数据。它提供了一系列的工具,可以用来进行数据提取转化加载(ETL),这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制; Hive定义了简单的类SQL查询语言,称为HQL ,它允许熟悉SQL的用户查询数据。同时,这个语言也允许熟悉MapReduce开发...原创 2018-09-06 17:06:13 · 14816 阅读 · 0 评论 -
maven
maven是Apache的顶级项目,是一个项目管理工具。主要作用体现在pom(project object model工程对象模型),帮助构建项目,整理目录结构。例如:java运行时环境的包,ser(源代码的包),经过maven规划后,将不同类型的类,放入不同的包内。例如测试的包资源文件的包,第三方库(例如junit)。管理依赖,发布,打包等。下载:https://maven.apache.o...原创 2018-09-11 22:00:33 · 153 阅读 · 0 评论 -
MySQL数据库Linux环境的安装
1 mysql数据的linux(centeros系统)安装准备 1.1 mysql在linux上支持三种安装方式 使用tar.gz解压方式安装(推荐); 使用rpm包进行安装; 在线安装; 1.2 准备 下载mysql-5.6.39-linux-glibc2.12-x86_64.tar.gz文件包; 为当前环境设置 mysql用户和my...原创 2018-08-24 15:16:53 · 1660 阅读 · 0 评论 -
Hadoop集群的安装 二 安装hadoop集群
1 解压hadoop并配置相关环境变量以hadoop用户名解压hadoop压缩文件JAVA_HOME=/usr/java/jdk1.8.0_144JRE_HOME=/usr/java/jdk1.8.0_144/jreHADOOP_HOME=/home/hadoop/hadoop-2.9.0CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/...原创 2018-08-24 13:41:23 · 304 阅读 · 0 评论 -
hadoop集群的安装 一 准备工作
Hadoop集群的安装1 安装jdk并配置环境变量2 调试网络、ssh安装和为hadoop创建安装用户并免密3 下载hadoop并解压4 修改配置文件(并修改环境变量)5 克隆hadoop节点6 初始化hdfs namenode7 启动hadoop(yarn,hdfs)a) 安装Javab) 创建unix用户账号及网络环境配置c) 安装hadoopd) SSH配置...原创 2018-08-24 13:36:07 · 278 阅读 · 0 评论 -
Linux虚拟机配置 二
注意:默认CenterOS7,没有安装iptables服务命令,手工安装该命令:设置 iptables service 例如:启动防火墙添加监听规则: 设置 iptables service 安装iptables服务 yum -y install iptables-services ② 修改/etc/sysconfig/iptables文件,添加指...原创 2018-08-24 11:07:02 · 198 阅读 · 0 评论 -
Linux虚拟机配置 一
uname -a :查看版本号。2.10.33:主版本号.次版本号.末版本号。次版本号为奇数则为开发版,偶数为稳定版安装tree:yum install -y tree #树形结构查看目录添加Hadoop 用户:useradd Hadoop修改普通用户(Hadoop)密码:passwd Hadoop网络配置网关IP查看:vm编辑→修改后如下: window...原创 2018-08-22 22:52:47 · 802 阅读 · 0 评论 -
Linux虚拟机安装
vm安装后,create新的虚拟机 开启虚拟机 点击安装位置→完成,点击网络和主机名打开以太网→完成点击开始安装设置root用户名和密码→点击两次完成。等待安装完成即可 ...原创 2018-08-22 19:27:20 · 125 阅读 · 0 评论 -
在windows环境中开发hadoop程序
在工作中,我们常常需要在Windows环境中开发Hadoop程序,比如使用eclipse开发MapReduce的程序等。为了方便程序的运行差错,除了程序中需要添加Hadoop的相关jar包外,还需要配置windows的本地环境。将Hadoop解压到Windows目录下:D:\software\hadoop-2.9.0注意:如果下载的Hadoop是Linux版的,那么D:\softwar...原创 2018-10-30 16:04:23 · 641 阅读 · 0 评论