JeeThink-CSDN博客

原创 Linux语法基础

概述：本文主要介绍CentOS6.5下的一些基本命令的使用，包括正则表达式中特殊符号的含义、vi编辑器和文本分析工具awk的使用等，并给出命令的具体使用示例。1、正则表达式(1) ^(开头)、$(结尾)、|(或)、<(单词边界)、>(单词边界)、.、*、+、?的使用需要使用\转义的符号：{、}，(、)，|、<、>、? 使用grep -E时可以不使用\转义上述...

2019-06-24 20:25:38 214

原创 Flume环境搭建与使用

概述：本文主要讲述Flume基础环境的搭建，并实现简单的数据采集与输出。1、Flume环境搭建（1）安装JDK下载并解压JDK、配置环境变量、版本检测（2）下载并上传Flumehttp://archive.cloudera.com/cdh5/cdh/5/flume-ng-1.6.0-cdh5.7.0.tar.gzscp flume-ng-1.6.0-cdh5.7.0.tar...

2019-06-24 20:20:05 283

概述：启动Tomcat时有时会出现"Several ports (8005, 8088, 8009) required by Tomcat v8.5 Server at localhost are already in use"，原因可能是之前启动的应用占用了端口，或者其他软件退出后占用的端口未及时终止，除了可以通过任务管理器终止相关进程外还可以采用命令方式解除占用。（1）查看所有连接PID...

2019-06-24 20:01:48 299

原创 Flink读取文件数据的两种方式

概述：Flink数据源（Data Sources）可以来自Java collections，也可以来自文件。本文主要介绍分别使用Scala和Java从CSV、Text中读取数据的方法，更详细信息可以参阅官方文档。（1）Scala方式/** * map算子 * * @param env */def mapFunction(env: ExecutionEnv...

2019-06-24 20:00:58 3631

原创 Spark Streaming简单案例

概述：本文主要介绍Spark Streaming的几个应用案例。1、统计结果写入数据库（1）创建数据库CREATE TABLE wordcount( word VARCHAR(50) DEFAULT null, wordcount int(10) DEFAULT null);（1）创建连接def createConnection() = { Cla...

2019-06-16 20:00:36 167

原创 Flink实现词频统计

概述：Apache Flink是由Apache软件基金会开发的开源流处理框架，其核心是用Java和Scala编写的分布式流数据流引擎。Flink以数据并行和流水线方式执行任意流数据程序，Flink的流水线运行时系统可以执行批处理和流处理程序。本文主要介绍Flink下使用Java和Scala程序分别实现塞缪尔·厄尔曼《青春》的词频统计。1、使用mvn命令创建Flink工程(1) Java模板...

2019-06-08 20:00:42 2919

原创 Hadoop安装与配置

概述：Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序，充分利用集群的威力进行高速运算和存储。本文主要讲述CentOS 6.5下Hadoop 3.x的单机模式的安装过程，在安装前需要安装JDK1.81、下载Hadoop-3.1.22、上传文件scp hadoop-3.1.2.tar.gz root@hadoop...

2019-06-03 20:00:00 172

原创 Spark实现统计插入

概述：本文主要实现Saprk SQL多表连接查询，并将结果存入新表。需求说明：数据库中存在emp和dept两张表，统计dept表中每个部门的人数逆序排序并存入统计表stat。如图所示1、创建统计表CREATE TABLE `stat` ( `deptName` varchar(10) DEFAULT NULL, `total` int(11) DEFAULT NULL)...

2019-05-12 20:00:29 326

原创 Zeppelin的使用

概述：常见的数据可视化工具有Echarts、HightCharts、D3.js、HUE和Zeppelin等，本文主要介绍Zeppelin在ContOS 6.5下的简单使用。1、官网下载并解压tar -zxvf software/zeppelin-0.8.1-bin-all.tgz -C app/2、启动Zeppelin./root/app/zeppelin-0.8.1-bin-...

2019-05-11 18:30:06 807

原创 Spark On YARN

概述：本文主要讲述如何将本地Spark工程打包放到YARN中运行。1、基本案例（1）spark-shell位置cd /root/app/spark-2.4.2-bin-hadoop2.6/bin（2）设置HADOOP_CONF_DIR位置export HADOOP_CONF_DIR=/root/app/hadoop-2.6.0-cdh5.7.0/etc/hadoop#或写...

2019-05-09 08:00:13 205

原创 Spark环境搭建与测试

概述：本文主要介绍CentOS 6.5下基于Hadoop的Spark环境搭建过程，并实现塞缪尔·厄尔曼《青春》的词频统计，Spark的具体搭建过程如下：1、下载并解压Spark源码https://archive.apache.org/dist/spark/spark-2.4.3/spark-2.4.3.tgz2、编译Spark如果需要获取适配Hadoop的spark版本，可在Li...

2019-05-09 08:00:07 1219

原创 Spark SQL数据源操作

概述：本文介绍Spark SQL操作parquet、hive及mysql的方法，并实现Hive和MySql两种不同数据源的连接查询1、操作parquet（1）编程实现#启动spark-shell./app/spark-2.4.2-bin-hadoop2.6/bin/spark-shell --master local[2] --jars /root/software/mysql-c...

2019-05-04 20:50:20 658

原创 Spark SQL的简单使用

概述：本文主要介绍SQLContext、HiveContext、SparkSession、spark-sql、spark-shell及thriftserver/beeline的简单使用。1、SQLContext的使用使用SqlContext可以从多种数据源中创建DataFrame,包括json、parquet、csv(2.x)、hive、jdbc等，使用参考图示：（1）加载依赖...

2019-05-04 20:44:07 382

原创 Spark中DataFrame与DataSet的使用

概述：本文主要介绍了DataFrame、DataSet常见API的使用1、DataFrame的使用object DataFrameApp { def main(args: Array[String]): Unit = { val spark = SparkSession.builder().master("local[2]").getOrCreate() //将j...

2019-05-04 20:39:50 357

原创 Hive环境搭建与测试

概述：本文介绍Hive基本环境的搭建，并实现塞缪尔·厄尔曼《青春》的词频统计1、下载和HDFS版本匹配的Hive并解压http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.7.0.tar.gzhttp://archive.cloudera.com/cdh5/cdh/5/hive-1.1.0-cdh5.7.0.tar.gz#注...

2019-04-30 23:02:39 435

原创 YARN配置与测试

概述：本文介绍YARN环境配置，并实现塞缪尔·厄尔曼《青春》的词频统计1、修改mapred-site.xmlcd app/hadoop-2.6.0-cdh5.7.0/etc/hadoopcp mapred-site.xml.template mapred-site.xml<configuration> <property> <...

2019-04-29 07:02:03 1464

转载 CenterOS 6.5内核升级

概述：为了使CentOS 6.5支持新特性、新功能，处理旧版内核的Bug，通常需要升级内核。本文介绍了稳定版内核的升级和最新本内核升级的方法。1、查看内核版本uname -r2、检查elrepo-kernel是否安装如果命令提示错误，安装epel之后即可yum --enablerepo=elrepo-kernel -y install kernel-ml-headers...

2019-04-21 18:28:40 710

原创 RedHat 7 安装配置与更换 yum源

概述：本文主要记述RedHat 7 下阿里yum源的更换过程，并以Docker的安装作为测试，虚拟机的配置过程省略。1、更改ip及网关vi /etc/sysconfig/network-scripts/ifcfg-ens33内容为：TYPE=EthernetPROXY_METHOD=noneBROWSER_ONLY=noBOOTPROTO=staticDEFROUTE=...

2019-04-20 13:23:00 904

原创 SSM框架整合案例

概述：本教程主要介绍SSM框架搭建的一般过程，并实现了简单的增删改功能版本说明：Spring相关：5.1.5Mysql：5.1.47druid连接池：1.1.12Mybatis:3.5.01、创建maven项目（1）创建ssm数据库表CREATE TABLE `product` ( `id` int(11) NOT NULL AUTO_INCREMENT,...

2019-04-14 20:33:10 361

原创 SSH框架整合案例

概述：本文将介绍SSH框架的简单整合过程，并实现用户的登录和注册（1）先放两张图SSH,SSM,SringBoot国内百度指数（2）Goo**全球近三个月趋势比较（2）SSH版本说明Spring：5.1.5.RELEASEStruts2：2.5.20Hibernate：5.4.2.FinalMySQL：5.1.47c3p0：0.9.5.41、创建...

2019-04-14 20:26:00 305

转载 Java实现文件目录树的生成

概述：本文实现把某一目录下的所有文件展开成目录树形式，效果如下：程序： public static void genDirTree(String path, int level, String dir) { level++; File file = new File(path); File[] files = file.listFile...

2019-04-01 11:19:47 5821

原创 Vue与Springboot的简单整合

概述：本文主要讲述vue+springboot JPA实现登录注册的方法，springboot(2.1.3.RELEASE)、vue(3.5.5)均为当前最新版本，其中首页和登录效果如图所示：1、安装node和npm安装方法参考官网2、安装vue和vue-cli（1）方式一npm install vuenpm install -g @vue/clinpm instal...

2019-03-27 22:51:29 13075

转载 CentOS 6.5下MySQL5.7.25的安装、主从复制和读写分离（三）

概述：本文主要讲述CentOS 6.5下MYSQL5.7.25通过中间件实现读写分离的步骤，仅供参考主从服务器说明：主服务器：192.168.3.101从服务器：192.168.3.11maxscale所在服务器：192.168.3.121、安装maxscalerpm -ivh https://downloads.mariadb.com/files/MaxScale/...

2019-03-25 20:13:00 177

转载 CentOS 6.5下MySQL5.7.25的安装、主从复制和读写分离（二）

概述：本文主要讲述CentOS 6.5下MYSQL5.7.25实现主从复制（基于日志点和GTID）步骤，是上一篇博文的延申1、主从复制的用途实时灾备，用于故障切换读写分离，提供查询服务备份，避免影响业务2、主从部署必要条件主库开启binlog日志（设置log-bin参数）主从server-id不同从库服务器能连通主库3、mysql主从复制原理从库生成两个线...

2019-03-25 20:00:54 192

原创 CentOS 6.5下MySQL5.7.25的安装、主从复制和读写分离（一）

概述：本文主要讲述centos 6.5下安装MySQL5.7.25的安装步骤，并对其中遇到的一些问题进行了说明。1、下载并上传mysql官网：https://dev.mysql.com/ 其他：https://cdn.mysql.com//Downloads/MySQL-5.7/mysql-5.7.25-linux-glibc2.12-x86_64.tar.gzWindows10可以使...

2019-03-25 19:55:04 333

转载 Spark从零开始手记弹性分布式数据集（RDDs：Resilent distributed datasets）

概述：Spark是新一代大数据计算引擎，具有内存计算的特性，计算速度比hadoop更快。本文涉及Spark基础概念RDD，KeyValueRDD以及RDD的常用Transformation和Action操作等内容，更多内容请参考慕课网Terby老师的《Spark从零开始》1、一个RDD是一个不可改变的分布式集合对象在spark中，所有的计算都是通过RDDs的创建、转换操作完成的一个RD...

2019-03-09 19:45:32 272

原创 VMware Workstation安装CentOS 6.5 几点注意事项

概述：VMware Workstation安装CentOS 6.5常常会遇到各种困扰人的问题，你是否经常被困在windows下ping虚拟机IP时不可达或是linux下ifconfig时，主机地址显示为127.0.0.1甚至不显示呢？现在就让我们一起来入坑吧。1、分区设置boot分区、root分区、swap分区、home(/)分区（1）boot分区可以设置大小为200M，文件系统类型...

2019-03-05 13:41:39 352

原创 CentOS 6.5下Redis的安装与启动

概述：Redis是一个使用ANSI C编写的开源、支持网络、基于内存、可选持久性的键值对存储数据库，支持的数据类型包括：string（字符串），hash（哈希），list（列表），set（集合）及zset(有序集合)。搭建Redis环境是学习redis的重要过程，本文主要讲述了centos 6.5下安装redis 5.0.5的步骤，其他版本redis安装与此类似。1、下载并上传Redis安装包...

2019-03-05 10:00:36 2728

luckGeek的博客