开发环境搭建
文章平均质量分 60
瓶中怪
一无所求 , 怎会一无所有
展开
-
虚拟机和CentOS系统的安装
用到的工具1.VMware122.CentOS.ios资源链接链接:https://pan.baidu.com/s/1bZy4DUnWIo_cb0i5szQvfA提取码:30tb步骤1.虚拟机安装123456789101112131415162.C...原创 2018-12-27 13:38:04 · 1474 阅读 · 0 评论 -
CentOS系统下nginx安装和配置
1.nginx安装下载依赖yum install gcc openssl-devel pcre-devel zlib-devel - y将nginx安装包上传服务器(nginx-1.8.1.tar.gz)解压安装包tar -zvxf nginx-1.8.1.tar.gz进入解压的安装文件 找到configure文件(建议)默认目录安装命令:./configure...原创 2019-01-02 17:19:21 · 1539 阅读 · 0 评论 -
服务器ip地址别名设置
打开配置文件:vim /etc/hosts使用别名的每台虚拟机都要修改保存退出后使用scp -r ./test node02:/test/随意拷贝一个文件到另一台服务器,测试别名是否可用.原创 2019-01-02 19:06:03 · 5046 阅读 · 0 评论 -
CDH部署搭建
前期准备链接Cloudera Manager下载CDH下载目录部署环境准备安装JDK时间同步免密登陆mysql安装安装搭建1 . 关闭防火墙service iptables stopSELINUX关闭setenforce 0vi /etc/selinux/config(SELINUX=disabled)2 . 启动mysql2.1 service m...原创 2019-01-19 22:43:33 · 1493 阅读 · 0 评论 -
elasticsearch分布式搜索和分析引擎的部署搭建
1 . 上传安装包并解压2 . 修改解压文件中config目录下的elasticsearch.yml文件vim /home/elasticsearch-2.4.5/config/elasticsearch.yml(要顶格写,冒号后要空1行)(同一集群下不同节点别名不可相同)(根据不同节点的ip地址灵活配置)(在最后加入防脑裂配置)#以下防脑裂配置#1.是否开...原创 2019-01-25 20:51:07 · 1562 阅读 · 0 评论 -
Hbase分布式非关系型数据库安装与部署
Hbase安装部署根据自身jdk等版本问题,前往官网安装合适的版本完全分布式1 下载安装包并解压2 /hbase-0.98.12.1-hadoop2/conf/regionservers,修改conf目录下的regionserver文件.填写将作为数据储存的服务器的节点ip地址或ip地址别名3 修改该目录下的hbase-env.sh文件(/hbase-0.98.1...原创 2019-01-15 21:09:55 · 6831 阅读 · 2 评论 -
kafka部署搭建
上传安装包并解压(集群每台节点都需要)修改config目录下的server.properties文件(集群每台节点都需要)提示:consumer.properties是消费者的配置,server.properties是服务端的配置修改服务端配置vim /home/kafka_2.10-0.9.0.1/config/server.properties数据存放路径,改不改都可(集群...原创 2019-01-28 23:55:41 · 1407 阅读 · 0 评论 -
redis安装
单一redis的安装将安装包上传服务器并解压(一台)依赖软件的安装执行命令 : yum -y install gcc tcl -y进入解压 redis 的文件夹执行make命令紧接着执行make install命令在 /user/local/bin目录下启动redis-server脚本启动server端在环境变量中通过redis-cli命令操作red...原创 2019-02-14 22:51:59 · 1438 阅读 · 0 评论 -
Scala安装
windows环境下安装Scala1 . 下载安装包:scala下载地址,点我点我2 . 安装scala(安装路径不要带有中文)(完成)3 . 配置环境变量创建SCALA_HOME环境变量配置path环境变量4 . 命令行测试eclipse下配置scala插件根据自己的eclipse版本下载对应的scala插件 : 地址在此,点我点我下载之后解...原创 2019-02-04 16:28:27 · 1783 阅读 · 0 评论 -
Storm安装部署
完全分布式部署上传安装包解压(集群全部节点都需要)修改conf目录下的storm.yaml文件vim /home/apache-storm-0.10.0/conf/storm.yaml配置zookeeper集群的ip , 注意不要顶格 , 预留一个空格(集群每台节点都要配置)配置nimbus节点的ip(集群所有节点都指向规划为nimbus节点的ip)测试集群关闭防...原创 2019-01-29 21:34:05 · 1453 阅读 · 0 评论 -
phoenix部署搭建
phoenix下载地址:http://mirrors.cnnic.cn/apache/phoenix(需要下载的版本与HBase的版本一致 )4.6.0是Hbase版本 , 0.98是phoenix版本搭建上传安装包到到HBase集群服务器的某台节点并解压将解压所得的phoenix文件夹下的core的jar包:phoenix-core-4.6.0-HBase-0.98.j...原创 2019-03-09 22:15:00 · 1423 阅读 · 0 评论 -
spark的安装搭建
1 . 安装包上传服务器并解压2 . spark解压文件下conf目录中将slaves.template文件更名为slaves3 . 修改slaves文件 , 配置从节点work4 . 上步完成后 , 将同目录下的 spark-env.sh.template 更名为 spark-env.sh5 . 修改spark-env.sh6 . 启动集群 , 到sbin目录下start...原创 2019-02-17 21:15:38 · 1709 阅读 · 0 评论 -
MapReduce分布式离线计算框架的部署
基于hadoop2.x的搭建原创 2019-01-05 22:13:42 · 1614 阅读 · 0 评论 -
服务器时间同步
安装ntp服务:用ntp来做时间同步,它会到时间服务器里去同步时间,保证了时间的准确度。安装ntp服务:yum install ntpdate -y时间同步命令:ntpdate cn.ntp.org.cn该命令表示为:到域名为cn.ntp.org.cn的时间服务器上同步时间。注:全球的时间服务器有很多个,可以到百度或谷歌上搜,不一定用cn.ntp.org.cn的时间服务器。...原创 2019-01-01 13:30:28 · 3601 阅读 · 0 评论 -
虚拟机网络设置和FinalShell的使用
资源链接CentOS网络设置123.网关IP45.虚拟机IP设置的区间6 网络设置vi /etc/sysconfig/network-scripts/ifcfg-eth07.修改配置如下DEVICE=eth0 #网卡设备名,请勿修改名字TYPE=Ethernet #网络类型,以太网BOOTPROTO=static ...原创 2018-12-27 18:52:03 · 14436 阅读 · 7 评论 -
虚拟机克隆
克隆虚拟机12345网络配置1vi /etc/sysconfig/network-scripts/ifcfg-eth02 修改IP3service network restart之后并未成功,需要删除网络配置文件4.删除网络配置文件rm -rf /etc/udev/rules.d/70-persistent-net....原创 2018-12-28 23:06:46 · 1396 阅读 · 0 评论 -
完全分布式:hadoop 1.x集群的搭建和使用
本文配置环境基于CentOS系统部署jdk部署Tomcat服务器至少3台虚拟机网络设置虚拟机ip地址别名设置,服务器之间相互ping通时间同步免密钥登陆hadoop安装和配置规划启动虚拟机,并关闭三台虚拟机的防火墙将hadoop安装包上传座位NameNode的服务器node01,并解压环境变量配置,安装包解压的文件夹中的ect/hadoo...原创 2019-01-03 21:08:53 · 1486 阅读 · 0 评论 -
eclipse连接ndsf配置
解压eclipse插件压缩包:eclipse-mars将hadoop-eclipse-plugin-2.6.0.jar以下jar包放入eclipse安装目录下的plugins文件夹中启动eclips,新建java项目出现如下界面新建项目项目名连接ndsf成功,右键可以对服务器文件进行操作修改用户名 Linux是root用户,而windows用户名字和Linux不同将...原创 2019-01-03 23:20:30 · 1480 阅读 · 0 评论 -
hadoop 2.x集群搭建
快捷跳转集群搭建站在hadoop2.x的角度批斗hadoop1.xHDFSNameNode压力过大,内存受限,系统扩展性差NameNode单点故障,NameNode宕机系统就瘫痪了,在线场景中难以应用.MapReduceJobTracker访问压力大,影响系统扩展性难以支持除MapReduce之外的计算框架,比如Spark、Storm等.hado...原创 2019-01-04 21:07:12 · 1684 阅读 · 0 评论 -
CentOS下载源修改
简介由于centos系统的yum默认是到国外网站下载,有时下载速度会很慢,故我们可以换一个yum的下载源,这里我们换一个国内的下载源 阿里云镜像。1. 备份原镜像文件,出错可恢复cp /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo.backup2. 下载新的CentOS-Base.rep到/et...原创 2018-12-30 22:51:48 · 2895 阅读 · 0 评论 -
CentOS部署jdk
JDK部署1.下载Linux用jdk安装包,rpm格式2.安装包上传到服务器3.安装jdkrpm -ivh jdk-7u67-linux-x64.rpm[改自己下载的rpm文件名]4.查看是否生成/usr/java/jdk…文件夹5.使用java/javac/java -version命令测试是否安装成功6.配置环境变量(不配也能用,但是最好配)1.全局环...原创 2018-12-30 23:41:01 · 1569 阅读 · 0 评论 -
CentOS系统下Tomcat部署
Tomcat部署下载tomcat上传Linux并解压上传至/usr/soft目录下,然后解压。启动tomcat在tomcat的bin目录下有个startup.sh 脚本可以直接启动tomcat服务如果之后关闭tomcat服务,可以用shutdown.sh命令。或者ps -ef | grep tomcat 查看出tomcat进程号后,用kill -9 [PID...原创 2018-12-31 11:34:10 · 1404 阅读 · 0 评论 -
CentOS系统下部署mysql数据库
CentOS系统下安装mysql数据库1.下载安装mysql服务器:yum install mysql-server -y客户端:yum install mysql-devel -y2.启动服务service mysqld start3.创建用户密码mysqladmin -u [用户名] password [密码]4.使用mysql -u[用户名] -p[密码]...原创 2018-12-31 14:00:12 · 1580 阅读 · 2 评论 -
多台虚拟机之间实现免密码登陆
多台虚拟机之间实现免密码登陆过程分析1 虚拟机生成密钥本文以node01,node02两台虚拟机做示范生成密钥 ssh-keygen -t rsa回车三次2. 查看生成公钥:1.root用户是在根目录:ll ~/.ssh2.普通用户是在:ll /home/[用户名]/.ssh3.将当前系统公钥信息追加到当前服务器注册中心(该步骤实现当前系统免密)cat ...原创 2018-12-31 15:19:16 · 3226 阅读 · 0 评论 -
桥接和NAT连接
理论阐述设置桥接模式(当前为NAT)1.查看windowsIP可通过快捷键win+R,输入cmd打开命令行,通过 ipconfig命令查询ip相关信息.2.设置桥接模式1.3.配置网络ip启动虚拟机,输入vi /etc/sysconfig/netword-scripts/ifcfg-eth0配置网络,根据第一个步骤查询到的windows网段信息,更改ip和网关,注意...原创 2018-12-31 18:14:52 · 2204 阅读 · 0 评论 -
memcached分布式服务器,解决Nginx的session的一致性问题
你连续访问同一个网页多次和访问1次对服务器来说是没有区别对待的,人生天天都是初见-http协议是无状态的.如果使用负载均衡,把同一用户请求分发到不同的服务器。那么用户的session数据可能只存在于单一的某一台服务器上,该用户对于其他的服务器而言,都是第一次登陆。负载均衡只要一为用户分配不同的服务器,用户就需要重新登陆。tomcat服务器 本身带有复制session的功能。memcache...原创 2019-01-03 00:30:38 · 1578 阅读 · 0 评论