- 博客(53)
- 资源 (1)
- 收藏
- 关注
![](https://csdnimg.cn/release/blogv2/dist/pc/img/listFixedTop.png)
原创 Python查询手机号码所在地区的几种方式
一、使用Python的BeautifulSoup访问[http://www.ip138.com]查询二、使用Python lib --> phone
2018-07-07 08:16:11
11877
6
原创 docker elasticsearch单机映射文件到宿主机
docker 安装elasticsearch并映射配置文档到宿主机1.安装dockerdocker pull elasticsearch:7.9.32.宿主机创建映射目录sudo mkdir -p /mydata/elasticsearch/config/elasticsearch.ymlsudo mkdir -p /mydata/elasticsearch/datasudo mkdir -p /mydata/elasticsearch/plugins3. 映射docker run --
2020-10-29 15:38:51
1974
2
原创 Linux MySQL修改默认字符编码
一、Linux查看MySQL的安装目录查询命令:ps -ef|grep mysql执行结果:查询结果及解释:路径 解释 备注 /var/lib/mysql mysql数据库文件的存放路径 /usr/share/mysql 配置文件目录 mysql.server命令及配置文件 /usr/bin 相关命令目录 mysqladmin mysqldump等命令 /etc/init.d/mysql 启停相关脚本 .
2020-08-29 15:12:14
313
原创 java easypoi使用模板导出Excel,合并单元格
工作几年,每年都有java数据导出Excel的需求,从最初的POI到公司封装的工具再到阿里的EasyExcel。总是有这个那个的小痛点,最近发现easypoi比较满足工作需求,可以很好的导出数据并处理单元格合并的问题,perfect!!!这是entity类,注解的mergeVertical是纵向合并内容相同的单元格,默认是falseimport cn.aftertu...
2020-02-15 21:42:42
9283
6
原创 Java8 LocalDate 根据给定的日期,获取该日期上一周的周一周日
开发中,经常遇到要求取某个周的周一周日,在java8 之前比较麻烦。java8之后用LocalDate 或LocalDateTime处理日期的问题就简单的太多了。import java.time.DayOfWeek;import java.time.LocalDate;import java.time.temporal.TemporalAdjusters;/** * 需求: 给定...
2020-02-15 09:21:17
11761
1
原创 我的大数据之旅-Flink 批处理文本文件 word count
目录前言:需求:通过Flink统计一个文本文件里单词个数实现:新建Flink项目创建批处理类结果前言:对比Spark、Flink开发流程,发现Flink的开发流程比较简单明了。主要分几个步骤:env :设置运行环境 source:配置数据源 transform:各种转换操作(flatMap/filter/join/group等) sink:下...
2019-11-23 16:44:55
477
原创 我的大数据之旅-配置ZooKeeper集群
目录1.集群规划2.解压安装3.配置zoo.cfg4.集群操作可能遇到的问题1.集群规划hadoop129、hadoop130、hadoop131三台服务器上配置zookeeper集群2.解压安装(1)解压zookeeper到指定目录[fengling@hadoop129 software]$ tar -zxvf apache-zookeeper-3...
2019-10-31 12:31:06
159
原创 我的大数据之旅-Spark DStreams输入
DStream输入 基本数据源 文件数据源 创建方式:StreamingContext.fileStream[KeyClass, ValueClass, InputFormatClass]文本文件:streamingContext.textFileStream(dataDirectory)pom.xml<?xml version="1.0" enc...
2019-10-29 11:21:17
204
原创 我的大数据之旅-Spark Streaming wordcount
创建maven项目:打包的时候注意修改成自己项目的包名。<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" ...
2019-10-26 16:49:12
196
原创 我的大数据之旅-Spark SQL通用加载、保存方法
目录Spark SQL输入:通用模式:高级模式Spark SQL输出:思维导图Spark SQL输入:通用模式:不指定输入文件类型:sparkSession.read.load("path")scala> val usersDF = spark.read.load("examples/src/main/resources/users.parquet")...
2019-10-20 16:03:40
152
原创 我的大数据之旅-Spark Dataset和RDD互操作
目录通过反射获取Schema通过编程设置Schema(StructType) 通过反射获取Schema 在scala接口中,Spark SQL支持自动将包含case类的RDD转换成DataFrame。case类定义了table的结构,case类通过属性反射变成了列名。scala> case class Person(name:String, age:Int)d...
2019-10-19 16:24:30
203
原创 我的大数据之旅-Spark 用户自定义函数
用户自定义UDF函数scala> spark.udf.register("addName",(x:String) => "Name: " + x)res1: org.apache.spark.sql.expressions.UserDefinedFunction = UserDefinedFunction(<function1>,StringType,Some(Li...
2019-10-19 14:34:27
277
原创 我的大数据之旅-Spark RDD、DataFrame、DataSet之间的转换
目录RDD转DataFrame:(rdd.toDF())RDD转DataSet:(rdd.toDS())DataFrame、DataSet转RDD:(dataFrame.rdd、dataSet.rdd)DataFrame转DataSet:(dataFrame.as[Person]):DataSet转DataFrame:(dataFrame.toDF):RDD转Data...
2019-10-19 13:41:26
277
原创 我的大数据之旅-Spark SQL DataFrame常用操作
package com.fengling.sqlimport org.apache.spark.SparkConfimport org.apache.spark.sql.{DataFrame, SparkSession}import org.slf4j.LoggerFactorycase class People(name: String, age: Int)/** * @a...
2019-10-19 11:52:29
158
原创 我的大数据之旅-Spark checkpoint的使用,spark shell演示
主要步骤:创建RDD 设置sc.setCheckpointDir路径 调用checkpoint方法 调用一下action操作scala> sc.setCheckpointDir("hdfs://hadoop129:9000/spark_check_point_20191014_data")scala> val data = sc.parallelize(1 to 10...
2019-10-14 13:15:42
192
原创 我的大数据之旅-Spark RDD操作
Spark RDD操作的两种类型: transformations 在Spark里所有RDD的转换都是延迟加载的,不会马上计算结果,Spark只是记住要应用于基础数据集的一些转换操作。只有当一个动作要求返回给Driver时,计算才会给执行。常用的transformations Transformation 含义 map(func) ...
2019-09-29 15:55:30
164
原创 我的大数据之旅-Spark创建RDD的两种方式
什么是RDDThe main abstraction Spark provides is aresilient distributed dataset(RDD), which is a collection of elements partitioned across the nodes of the cluster that can be operated on in parallel...
2019-09-28 22:00:00
301
原创 我的大数据之旅-Spark配置Job History Server
目录配置文件提交作业,检查是否可用配置文件进入Spark的conf目录,spark-defaults.conf.template拷贝一份[fengling@hadoop129 conf]$ pwd/opt/module/spark-2.4.4-bin-hadoop2.7/conf[fengling@hadoop129 conf]$ cp spark-defaults.co...
2019-09-27 14:58:33
142
原创 我的大数据之旅-Spark shell Word Count
目录上传文件到HDFS运行Spark shell统计RELEASE文件里每个单词的数量查看Job结果上传文件到HDFS#hdfs创建spark目录:[fengling@hadoop129 spark-2.4.4-bin-hadoop2.7]$ hdfs dfs -mkdir spark#将Spark RELEASE文件上传到hdfs spark目录下[fenglin...
2019-09-26 13:09:59
198
原创 我的大数据之旅-执行第一个Spark应用:蒙特·卡罗算法求PI
提交任务[fengling@hadoop129 spark-2.4.4-bin-hadoop2.7]$ bin/spark-submit --class org.apache.spark.examples.SparkPi \> --master spark://hadoop129:7077 \> --executor-memory 1G \> --total-exec...
2019-09-26 11:06:10
204
原创 我的大数据之旅-Hadoop启动YARN并运行MapReduce-WordCount
目标(1)配置集群在YARN上运行MR(2)启动、测试集群(3)在YARN上运行WordCount案例执行步骤(1)配置集群(a)配置yarn-env.sh$ vim etc/hadoop/yarn-env.sh(b)配置etc/hadoop/mapred-site.xml(对mapred-site.xml.template重新命名为mapred-site.xm...
2019-09-25 15:44:27
270
原创 我的大数据之旅-Hadoop单节点集群
软件清单jdk1.8 hadoop-2.7.2.tar.gz解压到指定目录[fengling@hadoop129 software]$ tar -zxvf hadoop-2.7.2.tar.gz -C /opt/module/将Hadoop添加到环境变量获取hadoop路径[fengling@hadoop129 hadoop-2.7.2]$ pwd/opt/modul...
2019-09-25 14:22:21
160
原创 我的大数据之旅-xsync集群分发脚本
循环复制文件到所有节点的相同目录下集群机子hadoop129/hadoop130/hadoop131之间同步文件基本命令rsync -rvl /opt/module fengling@hadoop129:/opt/参数说明:参数 备注 -r 递归拷贝 -v 显示复制的过程 -l 拷贝符号链接...
2019-09-25 10:32:51
188
原创 我的大数据之旅-Spark集群环境搭建
一、环境装备两台或者两台以上安装了jdk1.8的虚拟机我准备了三台:hadoop129/hadoop130/hadoop131规划: Master机:hadoop129 Slaves机:hadoop130/hadoop131二、下载Spark安装包:Spark官网下载地址三、解压缩[fengling@hadoop129 ...
2019-09-24 14:41:15
158
原创 Linux配置ssh无密登录
目录切换到root账户,执行命令拷贝公钥到要免密登录的目标机子上测试切换到root账户,执行命令[root@hadoop129 ~]# ssh-keygen -t rsa一路回车/root/.ssh目录下会生成文件id_rsa(私钥)、id_rsa.pub(公钥)拷贝公钥到要免密登录的目标机子上[root@hadoop129 .ssh]# s...
2019-09-23 16:17:21
121
原创 Linux命令-hostnamectrl重命名主机名
NAME hostnamectl - Control the system hostnameSYNOPSIS hostnamectl [OPTIONS...] {COMMAND}DESCRIPTION hostnamectl may be used to query and change the system hostname and ...
2019-09-23 14:55:52
1285
原创 Linux安装配置Maven
下载mavenwgethttp://mirrors.tuna.tsinghua.edu.cn/apache/maven/maven-3/3.6.2/binaries/apache-maven-3.6.2-bin.tar.gz解压缩[fengling@fengling129 software]$ tar -zxvf apache-maven-3.6.2-bin.tar.g...
2019-09-20 17:01:53
96
原创 我的大数据之旅-Linux安装scala
scala下载到Scala官网下载相应的版本,安装scala的前提是,你的linux安装了jdk8.0及以上安装scalascala下载完成之后,用工具上传到linux对应的目录解压到目录/opt/module[fengling@fengling129 software]$ tar xf scala-2.11.12.tgz -C /opt/module/配置环境变量...
2019-09-17 18:02:47
114
原创 我的大数据之旅-CentOS7安装、JDK8安装
目录一、系统安装二、windows host文件修改一、系统安装1. 新建虚拟机2.高级》下一步3.下一步4.稍后安装系统》下一步5.Linux》CentOS7 64》下一步7.配置名称和安装位置》下一步8.配置处理器》下一步9.配置内存10.配置网络11.12.创建磁盘13.磁盘命名...
2019-09-05 13:23:17
171
原创 windows、linux下flink初体验
最近在看尚学堂的大数据,学习了scala,阅读大数据相关的公众号了解了flink,忍不住要体验一把。下载flink下载可以直接到官网下载,选择合适的镜像网站下载即可,速度很快,我两分钟就下载完了如果使用scala进行开发,下载的时候,注意选择对应的版本我本地安装的是Java 1.8.0_201 / Scala 2.11.11安装windows安装window...
2019-08-28 11:16:47
600
原创 Scala学习(九)- 包(package)
相同点:Scala中创建包的方式与Java相同,使用同样的关键字:package/** * @author fengchengliang@126.com * @date 2019/8/26 */package com.fengling.chapter06 { // 创建包hi package hi { object PackageDemo { ...
2019-08-26 14:28:28
271
原创 Scala学习(八)- 类(Class)与继承(extends)、类型检查与转换
类的定义Scala中类的定义与Java类似,格式如下:[修饰符] class 类名 { 类体}/** * 定义一个猫类 */class Cat { var name = "" var age: Int = _ // 此处 _ 表示给一个默认值:Int类型就是0 var color: String = _ // 此处 _ 表示给一个默认值:Strin...
2019-08-25 18:45:30
928
原创 Scala学习(七)- 异常
Scala的异常处理与Java基本上相同 不同:Scala使用case 匹配不同异常import java.lang.ArithmeticException/** * @author fengchengliang@126.com * @date 2019/8/25 */object ExceptionDemo001 { def main(args: Array[Stri...
2019-08-25 14:08:49
134
1
原创 Scala练习题
斐波那契数列方法定义:F(1)=1,F(2)=1, F(n)=F(n-1)+F(n-2)(n>=3,n∈N*)1.递推公式斐波那契数列:1, 1, 2, 3, 5, 8, 13, 21, 34, 55, 89, 144, ...如果设F(n)为该数列的第n项(n∈N*),那么这句话可以写成如下形式::F(n)=F(n-1)+F(n-2)/** * @author f...
2019-08-24 21:40:14
841
原创 Scala学习(六)- 函数定义
基本语法:基本语法def 函数名 ([参数名: 参数类型], ...)[[: 返回值类型] =] { 语句... return 返回值}1)函数声明关键字为def (definition)2)[参数名: 参数类型], ...:表示函数的输入(就是参数列表), 可以没有。 如果有,多个参数使用逗号间隔3)函数中的语句:表示为了实现某一功能代码块4)函数可以...
2019-08-24 16:45:25
281
原创 Scala学习(四)- while循环、do...while循环、break
Scala的while循环与Java的语法结构基本上差不多While循环/** * @author fengchengliang@126.com * @date 2019/8/24 */object WhileDemo01 { def main(args: Array[String]): Unit = { var i = 10 while(i < ...
2019-08-24 15:07:46
1234
原创 Scala学习(三)- for循环
for循环语法格式:for( var x <- Range ){ statement(s);}说明:Range可以是一个数字区间:i to j [i , j](包含首尾),或者i until j [i , j)(包头不包尾)object ForDemo { def main(args: Array[String]): Unit = { val sta...
2019-08-23 22:20:35
258
原创 我的大数据之旅-Kafaka启停脚本
Kafka起动脚本#!/bin/bashBROKERS="hadoop129 hadoop130 hadoop131"APPHOME="/opt/module/kafka_2.11-2.2.0"APP_NAME="kafka_2.11-2.2.0"for i in $BROKERSdo echo "Starting ${APP_NAME} on ${i} >>...
2019-08-10 12:40:03
128
原创 Scala学习(二)- IDEA开发scala程序
目录IDEA开发scala程序1)创建Maven程序2) 添加scala语言支持3) 创建scala文件夹,并标注为源码文件夹4)Hello worldIDEA开发scala程序1)创建Maven程序一路Next下去2) 添加scala语言支持项目名称上 邮件 --> Add Framework Support...选择scala...
2019-08-08 17:36:01
298
elasticsearch-6.8.3.msi
2019-12-13
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人