- 博客(16)
- 收藏
- 关注
RSS订阅翻译 SpringCloud学习之Spring Cloud Consul
Spring Cloud Consul项目是针对Consul的服务治理实现。Consul是一个分布式高可用的系统，它包含多个组件，但是作为一个整体，在微服务架构中为我们的基础设施提供服务发现和服务配置的工具。它包含了下面几个特性：服务发现健康检查Key/Value存储多数据中心由于Spring Cloud Consul项目的实现，我们可以轻松的将基于Spring Boot的微服务应用注...
2019-05-19 17:13:34
128
翻译 SpringCloud学习之Spring Cloud Eureka
首先，我们来尝试使用Spring Cloud Eureka来实现服务治理。Spring Cloud Eureka是Spring Cloud Netflix项目下的服务治理模块。而Spring Cloud Netflix项目是Spring Cloud的子项目之一，主要内容是对Netflix公司一系列开源产品的包装，它为Spring Boot应用提供了自配置的Netflix OSS整合。通过一些简单...
2019-05-19 00:45:11
121
原创 Spark学习之数据分区
在分布式程序中，通信的代价是很大的。因此控制数据分布以获得最少的网络传输可以极大地提升程序整体性能。分布式程序选择正确的分区方式和单节点程序选择合适的数据结构是一样的。Spark可以通过控制RDD分区方式来减少通信的开销。所有的pairRDD都是可以进行分区的。Spark没有显示控制特定的键存放在哪个节点上，因为Spark是一个高容错的集群。当一个节点失败后，整个集群不会因此瘫痪。集群依旧是...
2019-01-24 18:33:05
257
原创 Spark学习之使用spark-shell读取mysql数据库
启动sparkcd /export/server/spark/sbinstart-all.sh查看sparkjps确保有worker进程执行命令：spark-shell \--master spark://node2:7077 \--executor-memory 1g \--total-executor-cores 2 \--jars /export/server/h...
2019-01-19 19:39:33
2714
原创 linux学习之mysql数据库导入数据
我们可以在本地使用nevicat软件将我们想要导入的数据转为sql文件将sql文件上传到linux服务器中mysql -uroot -proot 进入到mysql命令行中，使用source sql文件名 进行导入...
2019-01-19 19:31:05
730
原创 linux学习之linux安装mysql
1.mysql的压缩包下载网址：http://dev.mysql.com/downloads/mysql/或者在linux联网的情况下使用下面这条指令：使用wget下载：wget http://dev.mysql.com/get/Downloads/MySQL-5.6/MySQL-5.6.22-1.el6.i686.rpm-bundle.tar检测是否安装rpm -qa | grep...
2019-01-19 19:24:39
117
原创 Spark学习之Spark shell
启动spark集群:$SPARK_HOME/sbin/start-all.shspark-shell --master local[2] 表示在本地运行并给定两个线程命令sc.textFile("/usr/a.txt").flatMap(.split(" ")).map((,1)).reduceByKey(+).collectsc.textFile(“file:///roo...
2019-01-15 18:27:32
194
原创 Spark整合hadoop
确保spark 集群和hadoop集群 都能正确运行修改spark的配置文件 spark-env.sh加上 这句话:export HADOOP_CONF_DIR=/export/server/hadoop/etc/hadoop让spark知道hadoop配置文件的路径将spark-env.sh 分发到每台服务器上...
2019-01-15 18:10:15
789
原创 hadoop学习之扩展Vmware硬盘
修改主机名vi /etc/sysconf/network克隆后修改ip地址先生成一个新的Mac地址修改ip地址vi /etc/sysconfig/network-scripts/ifcfg-eth0HWADDR=00:50:56:31:5A:82修改mac地址vi /etc/udev/rules.d/70-persistent-net.rules将原来的eth0网卡配置删...
2019-01-15 17:57:25
221
原创 linux学习之用户管理
useradd 添加新用户ssuseradd ss添加ss这个用户passwd 设置ss用户密码passwd ss这时会提示写入密码ss指的是用户名id 判断用户是否存在id ss 会提示ss用户的信息su 切换用户su ss root切换普通用户不用输入密码普通用户切换root需要输入密码，这是权限的问题userdel 删除用户userdel ss可能会提...
2019-01-13 21:33:28
122
原创 hadoop学习之hadoop优缺点
hdfs是一个文件系统，通过目录树来定位资源，也是分布式的，通过很多个服务器来实现功能。与window的ntfs文件系统同是文件系统，但是原理不同。hdfs的设计适合一次写入，多次读出的场景，但是不支持文件的修改。不适合网盘的应用（网盘需要下载和删除），适合用来数据的分析。hdfs 优点：高容错性：通过增加副本的形式，来提高容错性，而且数据自动保存多个副本。副本丢失以后，可以自动恢...
2019-01-13 21:28:33
1098
原创 linux免密登陆
首先，需要了解ssh登陆方式原理：1.登陆端需要发送给被登陆端 ssh请求2.然后被登陆端发送给登陆端一个公钥3.登陆端用公钥加密用户名和密码，将密文发送给被登陆端4，然后被登陆端会用自己的私钥进行解密，解密成功就可以登陆成功ssh免密登陆原理登陆端需要生成一对秘钥，公钥和私钥公钥发送给被登陆端，与上面的方式不同，上面的公钥和私钥都是被登陆端的与ssh登陆方式的原理不同1.登陆端...
2019-01-13 21:20:10
111
原创 hadoop学习之hadoop指令
查看相关命令的使用方法hadoop fs -help rm显示目录下文件hadoop fs -ls /user/yang/input递归查看hadoop fs -lsr /user/yang/input创建目录hadoop fs -mkdir -p /user/yang/input多重目录需要使用 -p删除目录hadoop fs -rm -r /user/yang/in...
2019-01-13 21:15:35
144
原创 hadoop学习之JavaAPI
1.首先需要引入hadoop的maven依赖 <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-common</artifactId> <version>...
2019-01-13 21:08:56
273
原创 spark学习之搭建分布式集群
本文分两种方法搭建集群，一种是普通的集群，一种是HA分布式集群普通集群搭建：下载spark tar包将tar上传到Linux服务器中安装路径： /export/server/spark-2.4.0配置环境进入到spark-2.4.0/conf路径下4.1将spark-env.sh.template改成spark-env.shvi spark-env.sh#配置java环境变...
2019-01-13 15:53:10
168
原创 hadoop分布式搭建集群
hadoop搭建集群1 .生成公钥和私钥 ssh-keygen -t rsa 一直按回车 ssh-copy-id hadoop101 自己的服务器也需要配置 ssh-copy-id hadoop103 hadoop103的是ip地址 自己的服务器也需要配置2....
2019-01-13 14:40:12
88
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人