- 博客(186)
- 收藏
- 关注
RSS订阅原创 Weave部署Docker项目（下）
我们以商城项目中的goods-server + mgrsite为例,使用Weave + Docker进行部署一. 使用assembly 打包项目由于条件限制,我们就用本机+虚拟机来模拟部署,如果是两台主机只需执行weave connect masterIp 将多个主机加入到weave网络即可先看一下结构图注意:主机IP: 192.168.82.242虚拟机IP:192.168....
2019-11-29 11:23:21
101
原创 Weave部署Docker项目（上）
Docker的部署比较麻烦的地方就是网络, 容器虽然极大的节约了资源,提高了安全性,但是由于每一个容器都是一个独立的环境,其网络也是独立的网络,和其他容器进行通信成了一个难题.还好针对这个问题,各个公司提出的解决方案也比较多, 比如Pipework、Flannel、Weave、Open vSwitch 都是Docker的网络解决方案.下面我们学习一下weave 的使用方法, 然后下一篇文章使用...
2019-11-29 11:22:38
141
原创 Geotrellis学(踩)习(坑)笔记（四）——ETL工具
看官方文档的时候看到geotrellis工具有一个看上去很强大的ETL工具，但是看了好几次都看不明白他到底是干什么的，理解和跑通ETL是一个超级曲折艰难的过程。这篇文章就来记录一下ETL的曲折过程~首先ETL是个啥？？参考资料：https://docs.microsoft.com/en-us ... relational-data/etlExtract, transform, and loa...
2019-11-29 11:19:35
456
原创 Geotrellis学(踩)习(坑)笔记（一）——核密度分析
在geotrellis环境下成功运行了helloworld之后，我第一个尝试的核密度计算~整个过程还是挺艰难的。。。因为对scala非常地不熟，基本属于边写边学的状态T^T嗯。。首先 核密度分析是什么？？？官方文档里对核密度分析有一段这样的介绍： Kernel density is one way to convert a set of points (an instance...
2019-11-29 11:17:32
1503
原创 HBase 客户端类型 （三）
4. HBase Shell 交互接口HBase shell 是 HBase 集群的命令行接口。可以使用它连接到本地或远程服务器并与之交互。shell 提供了客户端和系统管理操作。4.1 基础 (Basics)---------------------------------------------------------------------------------------...
2019-11-29 11:15:18
176
原创 MapReduce的核心之Shuffle详解
1.MapReduce的核心之shuffle详解上一篇中我们介绍了MapReduce是什么，以及MapReduce的运行过程，其中在运行过程中主要分为Map端与Reducer端，MapReduce计算模型主要完成了映射与化简，在这其中，有一个最重要的过程那就是其核心——shuffle，shuffle翻译过来也就是混洗。可能大家比较熟知的是JAVA API中的Collections.shuffl...
2019-11-29 11:12:33
334
原创 redis之redis简介
Salvatore Sanfilippo(antirez)，男，意大利人，出生并且居住在西西岛。个人网站http://invece.org/。早年为系统管理员，关注计算机安全领域，于1999年发明了idle scan扫描技术，该技术现在在nmap扫描器上也有实现。2004-2006年期间在做嵌入式方面的工作。之后开始接触web,在2007年和另一个朋友...
2019-11-29 11:08:40
192
原创 MapReduce简介，结构组成，运行过程，WordCount...
hadoop四大模块 ------------------- common hdfs //namenode + datanode + secondarynamenode mapred yarn //resourcemanager + nodemanager 1.MapReduce简介 Hadoop最主要的两部分Hdfs...
2019-11-29 11:00:24
651
原创 Hdfs简介，组成及体系结构，JAVA API基本操作
hadoop四大模块-------------------commonhdfs //namenode + datanode + secondarynamenodemapredyarn //resourcemanager + nodemanager1.Hdfs简介Hdfs是基于流数据模式访问和处理超大文件的需求而开发的，可以运行在廉价的商用服务器上。我...
2019-11-29 10:57:54
216
原创 Hive的中函数，用户自定义函数（UDF）
Hive中的函数 Hive为了方便用户的操作，为我们提供了许多的内置函数， $hive>tab //使用键盘的Tab键可以查看 也通过以下命令可以只查看函数 $hive>show functions; ...
2019-11-29 10:55:12
203
原创 Hive的严格模式，动态分区，排序，事务，调优
.Hive的严格模式 Hive提供了一个严格模式，可以防止用户执行那些产生意想不到的不好的影响的查询。 想想看在那么大的数据量的前提下，如果我们在分区上表上使用查找所有，或是使用了笛卡尔积查询数据等等不良情况，那得花费我们多少时间和资源成本，Hive在默认情况下会开启一种模式，叫做严格模式，来限制我们这些不良操作。 ...
2019-11-28 16:21:56
822
原创 Hive简介，架构与工作流程，环境搭建
Hive简介现如今，数据可能是当下最赚钱的资源了。面对如此多的数据，Hadoop提供了完美的解决方案，使用分布式文件系统HDFS存储数据，使用MapReduce计算模型来处理数据。不过，仍然存在着一系列的挑战，例如：（1）用户如何从一个现有的数据基础结构转移到Hadoop上，而这个结构是基于传统的关系数据库和结构化查询语句（SQL）的。（2）MapReduce计算框架实在是太麻烦，比如用M...
2019-11-28 15:55:22
170
原创 Zookeeper简介，架构，单机版搭建
1.Zookeeper简介Zookeeper-动物园管理者（中文翻译）。好像我们的Hadoop都是一些动物，那这个号称是动物管理员的Zookeeper是什么呢？从字面的意思来看是管理动物的，也就是来管理Hadoop生态圈的，我们看一张图片（来源于网上）： 我们可以看到，Hadoop的生态圈里具有这么多的技术工具，那Zookeeper是用来做什么的呢？Zookee...
2019-11-28 15:52:19
175
原创 JAVA API访问Hbase
.将hbase-site.xml拷贝到资源目录下2.pom.xml<!--==========================junit======================--><dependency><groupId>junit</groupId><artifactId>junit</artifact...
2019-11-28 14:27:12
107
原创 为什么学习大数据?
因为大数据爆发，因此出现了大数据开发、大数据分析这两大主流的工作方向，目前这两个方向是很热门，不少人已经在开始转型往这两个方向发展，相较而言，转向大数据分析的人才更多一点，而同时也有不少人在观望中，这边小编收集了十个为什么要学习大数据分析的十个理由。下面我们一起来看看大数据专家写给大数据分析学习者的10个理由分享之前我还是要推荐下我自己创建的大数据分析分享群716581014，这...
2019-11-28 14:23:38
359
原创 mapreduce编程模板
1.MapReduce 编程模型的5个步骤： 1）迭代，将输入数据解析成 key/value 对； 2）将解析的 key/value经过Map处理映射成另一组key/value对； 3）根据key进行分组； 4）以分组为单位进行归约（Reduce 过程）； 5）迭代，输出最终结果。2.MapReduce编程模型模板： ...
2019-11-28 14:18:57
51
原创 windows下java操作hdfs(开发环境)相关配置
本文部分参考：http://www.cnblogs.com/marost/p/4372778.html，该文写得比较详细。具体步骤如下：在进行下面操作前，请确保hadoop已正确发布，部分验证方式：1 通过http://192.168.1.XXX:50070/dfshealth.html#tab-overview（XXX为master机的ip地址）可以正常看到分布式集群信息，hd...
2019-11-28 14:14:35
184
原创 无基础学习hadoop到上手工作线路指导
读此篇文章，需要些基础下面两篇文章零基础学习hadoop到上手工作线路指导（初级篇）零基础学习hadoop到上手工作线路指导（中级篇）如果看过的话，看这篇不成问题，此篇讲hadoop编程篇。hadoop编程，hadoop是一个Java框架，同时也是编程的一次革命，使得传统开发运行程序由单台客户端（单台电脑）转换为可以由多个客户端运行（多台机器）运行，使得任务得以分解，这大大提高了效率。hadoop...
2019-11-28 14:11:06
142
原创 大数据入门Hadoop安装
解压hadoop tar -zxvf h -C app/hadoop文件目录结构解析:bin:可执行脚本sbin:系统脚本,启动停止hadoop的脚本etc:hadoop的配置文件lib:hadoop的本地库include:本地库包含文件share:包含了hadoop的jar包和一些说明文档,我们可以删除说明文档,精简hadoop进入hadoop的配置文件去更改设...
2019-11-28 11:57:54
158
原创 openstack（云主机热迁移）
Openstack,nova主机要修改/etc/hosts[root@openstack ~]# cat /etc/hosts127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4::1 localhost localhost.localdomain localhost6 localhos...
2019-11-28 11:49:58
172
原创 深入浅出Flume之原理解析
前言 最近有一点浮躁，遇到了很多不该发生在我身上的事情。没有，忘掉这些。好好的学习，才是正道！一、Flume简介 flume 作为 cloudera 开发的实时日志收集系统，受到了业界的认可与广泛应用。Flume 初始的发行版本目前被统称为 Flume OG（original generation），属于 cloudera。 但随着 FLume 功能的扩展，Flume OG ...
2019-11-27 15:53:43
81
原创 K8S | Kubernetes 1.7 本地数据卷管理
1.OverviewKubernetes 1.7 不会引入过多新功能，比较重要的几个特性包括 Priority API、CRI 的增强以及 Federation 的部分功能。此外，计划中还将提供本地存储管理，主要分为两个层面：本地系统容量的管理。Kubernetes 的主分区主要包含 Kubelet 的根目录（/var/lib/kubelet），/var/log 目录等。此外，容器镜像，容...
2019-11-27 15:50:08
173
原创 Hadoop2.7.4完全分布式集群构建实战总结
配置Linux环境配置好各虚拟机的网络（采用NAT联网模式） 通过Linux图形界面进行修改(桌面版本Centos)：进入Linux图形界面 -> 右键点击右上方的两个小电脑 -> 点击Edit connections-> 选中当前网络System eth0 -> 点击edit按钮 -> 选择IPv4 -> method选择为manual ->点击ad...
2019-11-27 15:47:30
150
原创 大数据系列之分布式发布订阅消息系统Kafka
1.Kafka简介 Kafka如同JMS(Java Message Service)一样，是一个中间件，在异构系统间通信，为不同的系统之间提供服务。我们知道JMS通过队列（一对一）与主题（一对多）两种形式提供服务，而Kafka则通过主题（topic），来给一组消费者提供服务，但是这一组消费者中只能有一个消费者消费，这样就将JMS的队列...
2019-11-27 15:44:28
293
原创 MySQL进阶（一）SQL基础练习
本文适合哪些人群致力于将SQL作为自己的技术特长的人想在日常工作中和面试中突出自己SQL能力的人SQL建表语句CREATE TABLE STUDENT(SNO VARCHAR(3) NOT NULL,SNAME VARCHAR(4) NOT NULL,SSEX VARCHAR(2) NOT NULL,SBIRTHDAY DATETIM...
2019-11-27 15:40:26
156
原创 mongodb---基础查询命令
数据查询操作---------基本查询1.查询所有的数据: db.xx.find()2.指定条件查询db.xx.find(查询条件)3. 只查找符合条件的一个 db.xx.findOne()4.pretty()： 将结果格式化 db.stu.findOne({gender:true}).pretty()比较运算符的使用小于：$lt ...
2019-11-27 15:37:13
195
原创 正确地启动hadoop
-----------------------环境----------------------- ubuntu16.04系统 64位 apache-hive-3.0.0-bin spark-2.3.1-bin-hadoop2.7 scala2.11 JDK...
2019-11-27 15:33:29
135
原创 关联github与dockerhub生成镜像
首先登录dockerhub，按照下面的步骤，绑定github账户然后选择Create-Create Automated build，选中指定的dockerfile项目选中指定的Dockerfile自动创建镜像，当Dockerfile有改动时会自动创建如果想立即触发执行创建镜像，点击右侧的Trigger可以通过查看Dockerfile和Build Details查看构建状态如果为Success，...
2019-11-27 15:30:47
92
原创 kafka命令大全
整理kafka相关的常用命令管理## 创建主题（4个分区，2个副本） bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 2 --partitions 4 --topictest 查询 ## 查询集群描述 bin/kafka-topics.sh --des...
2019-11-27 15:27:16
140
原创 hadoop 2.x分布式安装
这个安装过程经历曲折，遇到了许多坑。环境：Windows 7 Vm 我用了三台虚拟机 centos192.168.188.128hadoop1（作为主服务器）192.168.188.129hadoop2192.168.188.130hadoop3如果你们的安装环境好了，接下来我们就开始安装hadoop之旅吧！1.配置jdkjdk的配置这里不做讲解，百度太...
2019-11-27 15:24:37
61
原创 vmware虚拟机与主机文件共享
本机为Ubuntu16.04，现在vmware中安装了ubuntu16.04的虚拟机。在虚拟机里进行一些软件的安装总是会显示“这可能意味着这个缺失的软件包已经被废弃，或者只能在其他发布源中找到”。先前虚拟机中Ubuntu12.04也存在这样的问题，本以为可能是系统的问题，于是安装了一个与本机系统相同的系统，发现还是有这个问题，换源也不行。现在看来这个软件下载不成功可能与虚拟机有关。具体原因不在...
2019-11-26 15:31:42
116
原创 Xshell 远程连接VMware虚拟机
一、环境准备：Xshell 6、VMware 12、CentOS 6.5二、VMware设置（1）虚拟机设置（2）为linux网卡设定固定IP，命令 ifconfig eth0 192.168.8.99（3）Windows ping测试三、Xshell设置成功！...
2019-11-26 15:27:24
157
原创 安装和设置kubectl
使用Kubernetes命令行工具kubectl在Kubernetes上部署和管理应用程序。使用kubectl，可以检查集群资源; 创建，删除和更新组件。安装kubectl1、要在Linux上下载v1.7.0版本，请键入：curl -LOhttps://storage.googleapis.com/kubernetes-release/release/v1.7.0/bin/linux...
2019-11-26 15:23:19
176
原创 源码安装tensorflow
下载tensorflow:git clonehttps://github.com/tensorflow/tensorflow安装python依赖库:sudo apt-get install python-numpy python-dev python-pip python-wheel如果是安装tensorflow for python3,则为:sudo apt-get ins...
2019-11-26 15:19:40
71
原创 Hadoop的集群安装
今天开始hadoop学习。一开虚拟机就出现各种状况。状况一vim 编辑器出现中文乱码。一开始以为是编码集的问题，去看了下编码集编码集就是utf-8，而且在命令行中可以输入中文。可能就是vim的问题。解决办法打开~/etc/vimrc，添加`setfileencodings=utf-8,ucs-bom,gb18030,gbk,gb2312,cp936setterme...
2019-11-26 15:13:51
81
原创 比UUID效率更高的生成id工具类
packagecom.test.util; importjava.lang.management.ManagementFactory; importjava.net.InetAddress; importjava.net.NetworkInterface; /** * <p>名称：IdWorker.java...
2019-11-26 15:08:34
1235
原创 powerdesigner中将表的name在生成建表sql时生成注释
1.为powerdesigner的表设置注释方法：powerdesigner默认没有注释：设置方法:选择那个表右键- >Properties- >Columns- >Customize Columns and Filter(或直接用快捷键Ctrl+U)- >Comment(前面打勾)- >OK说明：在创建pdm时由于需要在name列填写的是...
2019-11-26 15:02:55
219
原创 Hibernate入门简单代码
单纯的建表代码执行结果为数据中也有可能显示成功却没在数据库中找到这张表，我的解决方案是屏蔽hibernate.cfg.xml中的方言还有5.0以上的版本必须加上这段代码<property name="hibernate.hbm2ddl.auto">update</property>增：...
2019-11-26 15:00:57
64
原创 Hibernate入门简单代码
单纯的建表代码 执行结果为 数据中 也有可能显示成功却没在数据库中找到这张表，我的解决方案是屏蔽hibernate.cfg.xml中的方言 还有5.0以上的版本必须加...
2019-11-26 14:55:03
42
原创 mongodb字段验证规则（schema validation）
在我们通常的印象中，mongodb是模式自由的（schemaless），可以往一个集合里插入任意类型的数据，这会带来一些问题，例如对于PHP这种弱类型的语言，一个本应该是int型的字段，可能会同时存在string和int类型的数据。例如一个集合members，存储会员信息，包含的文档如下> db.members.find();{"_id": ObjectId("5b62a5c73...
2019-11-26 14:49:34
435
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人