- 博客(29)
- 资源 (2)
- 收藏
- 关注
RSS订阅
原创 安装CentOS6.8并配置网络图文解说亲测全过程
安装环境：本文是在win10系统安装上VMWare并配置Centos6.8虚拟机。准备工作1.安装VMWare虚拟机1.1下载VMWare12资源链接：https://pan.baidu.com/s/1AhfMSDXLO-aA0eMqnuMWHg 提取码：iftd1.2安装VMWare，在安装过程中需要输入密钥，填写下面密钥即可，傻瓜式安装。5A02H-AU243-TZJ49-GTC7...
2019-01-16 19:27:08
1411
原创 5台机器搭建HA步骤与注意事项
HA是High Available缩写，是双机集群系统简称，指高可用性集群，是保证业务连续性的有效解决方案，一般有两个或两个以上的节点，且分为活动节点及备用节点。
2019-01-15 19:18:40
2556
4
原创 kettle入门之文本文件导入数据库
Kettle是一款国外开源的ETL工具，纯java编写，可以在Windows、Linux、Unix上运行，数据抽取高效稳定。Kettle 中文名称叫水壶，该项目的主程序员MATT 希望把各种数据放到一个壶里，然后以一种指定的格式流出。...
2019-01-01 13:40:58
4039
1
转载 Flume结合场景讲解
flume 使用简单使用flume 场景1： 1、通过netcat发布消息 2、用flume接收netcat发布的消息，最终显示在终端 3、flume的channels是用内存存储的先定义flume-conf.properties.log 这样的文件#定义agent的配置 定义sources 定义channels 定义sinksa1.sources = r1a1.sink...
2019-01-28 16:02:28
194
原创 flink集群的搭建与部署
运行环境linux-CentOS6.8hadoop-2.7.5Scala-2.11.6jdk-1.8flink-1.7.1-bin-hadoop27-scala_2.11.tgzflink搭建1.下载下载地址：http://flink.apache.org/downloads.html根据自己集群环境的情况，下载相应的flink版本。上面描述我的集群环境是hadoop2.7......
2019-01-28 12:43:16
22117
3
转载 CentOS7搭建Hadoop3.1.1的HA详细步骤
最近负责的项目准备上大数据平台存储，主要还是围绕Hadoop平台来实现，虽然打算上cdh版本的hadoop，但是为了前期方便开发还是先使用原声的hadoop进行开发，后期再准备更好的环境进行扩展。环境准备三台服务器系统环境是建立在Centos7.6基础上。并且是建立在root账户上运行的，如果需要使用其他用户操作，注意权限的问题基础机器分配在三台新购买的服务器上进行搭建。服务器规划如下h...
2019-01-27 20:26:58
706
3
原创 02-RDD与spark核心概念
Spark RDD非常基本的说明，下面一张图就能够有基本的理解：Spark RDD基本说明1、Spark的核心概念是RDD (resilient distributed dataset，弹性分布式数据集)，指的是一个只读的，可分区的分布式数据集，这个数据集的全部或部分可以缓存在内存中，在多次计算间重用。2、RDD在抽象上来说是一种元素集合，包含了数据。它是被分区的，分为多个分区，每个分区...
2019-01-27 18:48:18
317
原创 node is in safe mode
问题描述上传或者操作hdfs的文件时候遇到 node is in safe mode.（处于安全模式），处于这个模式虽然不能进行修改文件的操作，但是可以浏览目录结构、查看文件内容的。解决方案那就是退出安全模式离开安全模式，命令 hadoop dfsadmin -safemode leave扩展命令查看安全模式状态，命令 hadoop dfsadmin -safemode get...
2019-01-27 18:25:09
230
原创 zookeeper单机与伪分布式安装与配置
一、基本环境Linux_CentOS6.8jdk1.8zookeeper-3.4.12二、单机模式的安装与配置2.1.下载zookeeper的tar包wget http://www-eu.apache.org/dist/zookeeper/current/zookeeper-3.4.12.tar.gz2.2.解压安装包到目标路径，并修改文件权限 tar -zxvf zookeep...
2019-01-27 09:45:49
321
原创 spring容器外部获取容器内部bean
思路步骤： 1.定义工具类SpringUtil的静态方法和静态引用。 2.实现接口ApplicationContextAware的setApplicationContext方法。 3.spring容器会在创建该对象过程中，将自身引用注入对象中（Component注解，让spring扫描到该bean）。编码步骤1.编写springutil:imp...
2019-01-26 10:03:16
911
原创 01-spark单机安装部署、分布式集群与HA安装部署+spark源码编译
spark单机安装部署1.安装scala1.下载：wget https://downloads.lightbend.com/scala/2.11.12/scala-2.11.12.tgz2.解压：tar -zxvf scala-2.11.12.tgz -C /usr/local3.重命名：mv scala-2.10.5/ scala4.配置到环境变量：export SCALA_HOME...
2019-01-25 13:48:32
596
原创 00-Spark介绍
什么是Spark?Apache Spark是一个围绕速度、易用性和复杂分析构建的大数据处理框架。最初在2009年由加州大学伯克利分校的AMPLab开发，并于2010年成为Apache的开源项目之一。与Hadoop和Storm等其他大数据和MapReduce技术相比，Spark有如下优势。首先，Spark为我们提供了一个全面、统一的框架用于管理各种有着不同性质（文本数据、图表数据等）的数据集和...
2019-01-25 11:50:38
4291
原创 maven打可执行jar包的两种方式
maven概念Maven是一个项目管理和综合工具。Maven提供了开发人员构建一个完整的生命周期框架。开发团队可以自动完成项目的基础工具建设，Maven使用标准的目录结构和默认构建生命周期。创建maven项目可以点击这里。 方法一：使用maven-jar-plugin/ maven-dependency-plugin插件打包1. 添加依赖到lib目录，指定jar包主类 在pom...
2019-01-24 21:15:11
882
原创 最详细Flink安装以及案例之WordCount
前言：本文主要介绍如何将Flink以本地模式运行在单机上。运行环境Linux-CentOS6.8JDK-1.8hadoop-2.7.5flink-1.7.1-bin-hadoop27-scala_2.11flink安装配置过程1.下载1.1进入下载页面。如果你想让Flink与Hadoop进行交互（如HDFS或者HBase），请选择一个与你的Hadoop版本相匹配的Flink包。...
2019-01-23 19:21:10
2934
原创 SSM 框架详细整合教程(IDEA版)(Spring+SpringMVC+MyBatis)
SSM（Spring、Spring MVC和Mybatis）如果你使用的是 Eclipse，请查看：许多童鞋现在开始学习这个流行的框架来进行Java开发，想要寻找一个最简单的SSM框架搭建方法，这里我不说什么废话，直接上手开始搭建，代码部分都做了详细的注释，可以快速上手！前提jdk 电脑安装jdk环境变量配置检查电脑中是否配置有JDK cmd命令窗口中，java -versio...
2019-01-22 18:58:34
1559
原创 Hadoop集群单机伪分布搭建
1.前提准备关闭防火墙：1. 永久性生效（这里需要重启机器才能生效 reboot）开启：chkconfig iptables on关闭：chkconfig iptables off（推荐）2. 即时生效，重启后失效开启：service iptables start关闭：service iptables stop3.查看状态service iptables statusJava...
2019-01-21 12:11:28
191
转载 docker入门+结合微服务实战（四）
介绍容器是docker的另一个核心概念简单的来说，容器是镜像的一个运行实例，所不同的是它有额外的可写文件层。如果认为虚拟机是模拟运行的一整套操作系统（提供了运行态环境和其他系统环境）和跑在上面的应用。那么docker容器就是独立运行的一个或一组应用，以及它们的必须运行环境。查看容器列表通过docker ps命令查看正在运行的容器列表，需要查询所有的容器需要加-a参数：查询正在运行的容器...
2019-01-16 17:13:40
149
转载 docker入门+结合微服务实战（三）
镜像镜像是docker的三大核心概念之一docker运行容器前需要本地存在对应的镜像，如果镜像不存在本地，docker会尝试先从默认镜像仓库下载（默认使用docker Hub公共注册服务器中的仓库），用户也可以通过配置，使用自动以的镜像仓库。获取镜像获取镜像通过命令，docker pull完成比如获取Redis3.0.0的镜像第一步，需要到远程的仓库进行搜索https://hub.d...
2019-01-16 17:13:32
156
转载 docker入门+结合微服务实战（二）
安装docker建议第二种吧，第一种默认1.13版本的，用出bug来了,但别人用没事.第二种默认17.12的我们可以在Centos或者Ubuntu下安装docker，要注意的是，centos6对docker支持的不好，使用docker建议升级到centos7。centos7直接通过yum安装即可：yum install -y docker如果报错Is the docker daemon r...
2019-01-16 17:13:24
140
转载 docker入门+结合微服务实战(一）
docker简介docker是一个开源的应用容器引擎，让开发者可以打包他们的应用以及依赖包到一个可移植的容器中，然后发布到任何流行的linux机器上，也可以实现虚拟化。容器是完全使用沙箱机制，相互之间不会有任何接口。docker的应用我们之前是如何将项目发布到Linux服务器的？大致步骤如下：1、 安装jdk2、 安装tomcat3、 将项目war包上传到tomcat的webapps...
2019-01-16 17:13:16
150
转载 微服务Springcloud超详细教程+实战（二）
远程调用方式无论是微服务还是分布式服务（都是SOA，都是面向服务编程），都面临着服务间的远程调用。那么服务间的远程调用方式有哪些呢？常见的远程调用方式有以下几种：RPC：Remote Produce Call远程过程调用，类似的还有RMI（Remote Methods Invoke 远程方法调用，是JAVA中的概念，是JAVA十三大技术之一）。自定义数据格式，基于原生TCP通信，速度快，...
2019-01-15 19:35:19
179
转载 微服务Springcloud超详细教程+实战（一）
认识微服务系统架构演变集中式架构/单体应用垂直拆分分布式服务服务治理（SOA）系统架构演变随着互联网的发展，网站应用的规模不断扩大。需求的激增，带来的是技术上的压力。系统架构也因此也不断的演进、升级、迭代。从单一应用，到垂直拆分，到分布式服务，到SOA，以及现在火热的微服务架构，还有在Google带领下来势汹涌的Service Mesh。我们到底是该乘坐微服务的船只驶向远方，还是偏安...
2019-01-15 19:35:06
241
1
原创 zookeeper完全分布式安装
ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，是Google的Chubby一个开源的实现，是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服务的软件，提供的功能包括：配置维护、域名服务、分布式同步、组服务等。
2019-01-15 18:38:46
265
转载 Hadoop相关项目Hive-Pig-Spark-Storm-HBase-Sqoop
目录HivePigSparkStormHBaseSqoopHivePig和Hive的对比摘要: Pig Pig是一种编程语言，它简化了Hadoop常见的工作任务。Pig可加载数据、表达转换数据以及存储最终结果。Pig内置的操作使得半结构化数据变得有意义（如日志文件）。同时Pig可扩展使用Java中添加的自定义数据类型并支持数据转换。 Hive Hive在Hado...
2019-01-14 20:20:36
219
翻译 Apache Spark编程教程
Apache Spark JavaRDD和任务解决好吧，我告诉我身边的每个人，如果你不知道map-reduce概念那么你就无法理解Apache Spark。为了证明这一点，让我们解决简单的任务。假设我们在城镇中有以下温度的文本文件：Prague 35Madrid 40Berlin 20Paris 15Rome 25位于Apache Hadoop HDFS文件系统，我们需要编写...
2019-01-14 20:15:13
359
原创 apache-hive-1.2.1-bin 安装
技能标签下载apache hive 安装包 进行apache-hive-1.2.1-bin.tar.gz安装 配置mysql存储元数据 配置HDFS存储 /user/hive/warehouse 该Hive版本1.2.1默认集成在(Spark1.6 到 Spark2.4)下载下载安装包apache-hive-1.2.1-bin.tar.gz: https://archive.ap...
2019-01-14 19:52:38
462
转载 HTTP 错误 404.0 - Not Found
当网上的那些修改程序池的方法，无法解决此问题时，可以尝试修改以下的参数：1.控制面板-->程序-->启用或关闭Windows功能-->Internet Information Services-->Web管理工具-->子项全部勾选上.2.Internet Information Services-->应用程序开发功能-->子项全部勾选上.重
2019-01-02 00:13:56
20458
2
原创 idea中@Data不起作用
相关依赖 <dependency> <groupId>org.projectlombok</groupId> <artifactId>lombok</artifactId> <version&gt
2019-01-01 16:26:51
11286
3
转载 十个程序员必备的网站推荐
程序员的工作和日常生活非常的枯燥，这里给大家推荐一些程序员经常使用的网站，也是我经常上的一些网站，尤其是前三个网站感觉用起来非常的舒服。我大致把这些网站分为三类，使用工具类，设计分享类，资讯交流类，业界良心类。希望能对大家有所帮助。1，Github代码托管（https://github.com/）作为开源代码库以及版本控制系统，Github拥有140多万开发者用户。随着越来越多的应用程序转移到...
2019-01-01 14:17:28
288
dbf2csv.rar
2019-07-25
MobaXterm是Windows全能终端神器
2018-10-13
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人