远方·玲玲

原创 Python查询手机号码所在地区的几种方式

一、使用Python的BeautifulSoup访问[http://www.ip138.com]查询二、使用Python lib --> phone

原创 docker elasticsearch单机映射文件到宿主机

docker 安装elasticsearch并映射配置文档到宿主机1.安装dockerdocker pull elasticsearch:7.9.32.宿主机创建映射目录sudo mkdir -p /mydata/elasticsearch/config/elasticsearch.ymlsudo mkdir -p /mydata/elasticsearch/datasudo mkdir -p /mydata/elasticsearch/plugins3. 映射docker run --

原创 Linux MySQL修改默认字符编码

一、Linux查看MySQL的安装目录查询命令：ps -ef|grep mysql执行结果：查询结果及解释：路径 解释 备注 /var/lib/mysql mysql数据库文件的存放路径 /usr/share/mysql 配置文件目录 mysql.server命令及配置文件 /usr/bin 相关命令目录 mysqladmin mysqldump等命令 /etc/init.d/mysql 启停相关脚本 .

原创 java easypoi使用模板导出Excel，合并单元格

工作几年，每年都有java数据导出Excel的需求，从最初的POI到公司封装的工具再到阿里的EasyExcel。总是有这个那个的小痛点，最近发现easypoi比较满足工作需求，可以很好的导出数据并处理单元格合并的问题，perfect！！！这是entity类，注解的mergeVertical是纵向合并内容相同的单元格，默认是falseimport cn.aftertu...

原创 Java8 LocalDate 根据给定的日期，获取该日期上一周的周一周日

开发中，经常遇到要求取某个周的周一周日，在java8 之前比较麻烦。java8之后用LocalDate 或LocalDateTime处理日期的问题就简单的太多了。import java.time.DayOfWeek;import java.time.LocalDate;import java.time.temporal.TemporalAdjusters;/** * 需求： 给定...

原创 我的大数据之旅-Flink 批处理文本文件 word count

目录前言：需求：通过Flink统计一个文本文件里单词个数实现：新建Flink项目创建批处理类结果前言：对比Spark、Flink开发流程，发现Flink的开发流程比较简单明了。主要分几个步骤：env ：设置运行环境 source：配置数据源 transform：各种转换操作（flatMap/filter/join/group等） sink:下...

原创 我的大数据之旅-配置ZooKeeper集群

目录1.集群规划2.解压安装3.配置zoo.cfg4.集群操作可能遇到的问题1.集群规划hadoop129、hadoop130、hadoop131三台服务器上配置zookeeper集群2.解压安装（1）解压zookeeper到指定目录[fengling@hadoop129 software]$ tar -zxvf apache-zookeeper-3...

原创 我的大数据之旅-Spark DStreams输入

DStream输入 基本数据源 文件数据源 创建方式：StreamingContext.fileStream[KeyClass, ValueClass, InputFormatClass]文本文件：streamingContext.textFileStream(dataDirectory)pom.xml<?xml version="1.0" enc...

原创 我的大数据之旅-Spark Streaming wordcount

创建maven项目：打包的时候注意修改成自己项目的包名。<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" ...

原创 我的大数据之旅-Spark SQL通用加载、保存方法

目录Spark SQL输入：通用模式：高级模式Spark SQL输出：思维导图Spark SQL输入：通用模式：不指定输入文件类型：sparkSession.read.load("path")scala> val usersDF = spark.read.load("examples/src/main/resources/users.parquet")...

原创 我的大数据之旅-Spark Dataset和RDD互操作

目录通过反射获取Schema通过编程设置Schema（StructType） 通过反射获取Schema 在scala接口中，Spark SQL支持自动将包含case类的RDD转换成DataFrame。case类定义了table的结构，case类通过属性反射变成了列名。scala> case class Person(name:String, age:Int)d...

原创 我的大数据之旅-Spark 用户自定义函数

用户自定义UDF函数scala> spark.udf.register("addName",(x:String) => "Name: " + x)res1: org.apache.spark.sql.expressions.UserDefinedFunction = UserDefinedFunction(<function1>,StringType,Some(Li...

原创 我的大数据之旅-Spark RDD、DataFrame、DataSet之间的转换

目录RDD转DataFrame：（rdd.toDF()）RDD转DataSet：（rdd.toDS()）DataFrame、DataSet转RDD：(dataFrame.rdd、dataSet.rdd)DataFrame转DataSet：(dataFrame.as[Person]):DataSet转DataFrame：(dataFrame.toDF):RDD转Data...

原创 我的大数据之旅-Spark SQL DataFrame常用操作

package com.fengling.sqlimport org.apache.spark.SparkConfimport org.apache.spark.sql.{DataFrame, SparkSession}import org.slf4j.LoggerFactorycase class People(name: String, age: Int)/** * @a...

原创 我的大数据之旅-Spark checkpoint的使用，spark shell演示

主要步骤：创建RDD 设置sc.setCheckpointDir路径 调用checkpoint方法 调用一下action操作scala> sc.setCheckpointDir("hdfs://hadoop129:9000/spark_check_point_20191014_data")scala> val data = sc.parallelize(1 to 10...

原创 我的大数据之旅-Spark RDD操作

Spark RDD操作的两种类型： transformations 在Spark里所有RDD的转换都是延迟加载的，不会马上计算结果，Spark只是记住要应用于基础数据集的一些转换操作。只有当一个动作要求返回给Driver时，计算才会给执行。常用的transformations Transformation 含义 map(func) ...

原创 我的大数据之旅-Spark创建RDD的两种方式

什么是RDDThe main abstraction Spark provides is aresilient distributed dataset(RDD), which is a collection of elements partitioned across the nodes of the cluster that can be operated on in parallel...

原创 我的大数据之旅-Spark配置Job History Server

目录配置文件提交作业，检查是否可用配置文件进入Spark的conf目录，spark-defaults.conf.template拷贝一份[fengling@hadoop129 conf]$ pwd/opt/module/spark-2.4.4-bin-hadoop2.7/conf[fengling@hadoop129 conf]$ cp spark-defaults.co...

原创 我的大数据之旅-Spark shell Word Count

目录上传文件到HDFS运行Spark shell统计RELEASE文件里每个单词的数量查看Job结果上传文件到HDFS#hdfs创建spark目录：[fengling@hadoop129 spark-2.4.4-bin-hadoop2.7]$ hdfs dfs -mkdir spark#将Spark RELEASE文件上传到hdfs spark目录下[fenglin...

原创 我的大数据之旅-执行第一个Spark应用：蒙特·卡罗算法求PI

提交任务[fengling@hadoop129 spark-2.4.4-bin-hadoop2.7]$ bin/spark-submit --class org.apache.spark.examples.SparkPi \> --master spark://hadoop129:7077 \> --executor-memory 1G \> --total-exec...

原创 我的大数据之旅-Hadoop启动YARN并运行MapReduce-WordCount

目标（1）配置集群在YARN上运行MR（2）启动、测试集群（3）在YARN上运行WordCount案例执行步骤（1）配置集群（a）配置yarn-env.sh$ vim etc/hadoop/yarn-env.sh（b）配置etc/hadoop/mapred-site.xml（对mapred-site.xml.template重新命名为mapred-site.xm...

原创 我的大数据之旅-Hadoop单节点集群

软件清单jdk1.8 hadoop-2.7.2.tar.gz解压到指定目录[fengling@hadoop129 software]$ tar -zxvf hadoop-2.7.2.tar.gz -C /opt/module/将Hadoop添加到环境变量获取hadoop路径[fengling@hadoop129 hadoop-2.7.2]$ pwd/opt/modul...

原创 我的大数据之旅-xsync集群分发脚本

循环复制文件到所有节点的相同目录下集群机子hadoop129/hadoop130/hadoop131之间同步文件基本命令rsync -rvl /opt/module fengling@hadoop129:/opt/参数说明：参数 备注 -r 递归拷贝 -v 显示复制的过程 -l 拷贝符号链接...

原创 我的大数据之旅-Spark集群环境搭建

一、环境装备两台或者两台以上安装了jdk1.8的虚拟机我准备了三台：hadoop129/hadoop130/hadoop131规划： Master机：hadoop129 Slaves机：hadoop130/hadoop131二、下载Spark安装包：Spark官网下载地址三、解压缩[fengling@hadoop129 ...

原创 Linux配置ssh无密登录

目录切换到root账户，执行命令拷贝公钥到要免密登录的目标机子上测试切换到root账户，执行命令[root@hadoop129 ~]# ssh-keygen -t rsa一路回车/root/.ssh目录下会生成文件id_rsa（私钥）、id_rsa.pub（公钥）拷贝公钥到要免密登录的目标机子上[root@hadoop129 .ssh]# s...

原创 Linux命令-hostnamectrl重命名主机名

NAME hostnamectl - Control the system hostnameSYNOPSIS hostnamectl [OPTIONS...] {COMMAND}DESCRIPTION hostnamectl may be used to query and change the system hostname and ...

原创 Linux安装配置Maven

下载mavenwgethttp://mirrors.tuna.tsinghua.edu.cn/apache/maven/maven-3/3.6.2/binaries/apache-maven-3.6.2-bin.tar.gz解压缩[fengling@fengling129 software]$ tar -zxvf apache-maven-3.6.2-bin.tar.g...

原创 我的大数据之旅-Linux安装scala

scala下载到Scala官网下载相应的版本，安装scala的前提是，你的linux安装了jdk8.0及以上安装scalascala下载完成之后，用工具上传到linux对应的目录解压到目录/opt/module[fengling@fengling129 software]$ tar xf scala-2.11.12.tgz -C /opt/module/配置环境变量...

原创 我的大数据之旅-CentOS7安装、JDK8安装

目录一、系统安装二、windows host文件修改一、系统安装1. 新建虚拟机2.高级》下一步3.下一步4.稍后安装系统》下一步5.Linux》CentOS7 64》下一步7.配置名称和安装位置》下一步8.配置处理器》下一步9.配置内存10.配置网络11.12.创建磁盘13.磁盘命名...

原创 windows、linux下flink初体验

最近在看尚学堂的大数据，学习了scala，阅读大数据相关的公众号了解了flink，忍不住要体验一把。下载flink下载可以直接到官网下载，选择合适的镜像网站下载即可，速度很快，我两分钟就下载完了如果使用scala进行开发，下载的时候，注意选择对应的版本我本地安装的是Java 1.8.0_201 / Scala 2.11.11安装windows安装window...

原创 Scala学习（九）- 包（package）

相同点：Scala中创建包的方式与Java相同，使用同样的关键字：package/** * @author fengchengliang@126.com * @date 2019/8/26 */package com.fengling.chapter06 { // 创建包hi package hi { object PackageDemo { ...

原创 Scala学习（八）- 类（Class）与继承（extends）、类型检查与转换

类的定义Scala中类的定义与Java类似，格式如下：[修饰符] class 类名 { 类体}/** * 定义一个猫类 */class Cat { var name = "" var age: Int = _ // 此处 _ 表示给一个默认值：Int类型就是0 var color: String = _ // 此处 _ 表示给一个默认值：Strin...

原创 Scala学习（七）- 异常

Scala的异常处理与Java基本上相同 不同：Scala使用case 匹配不同异常import java.lang.ArithmeticException/** * @author fengchengliang@126.com * @date 2019/8/25 */object ExceptionDemo001 { def main(args: Array[Stri...

原创 Scala练习题

斐波那契数列方法定义：F(1)=1，F(2)=1, F(n)=F(n-1)+F(n-2)（n>=3，n∈N*）1.递推公式斐波那契数列：1, 1, 2, 3, 5, 8, 13, 21, 34, 55, 89, 144, ...如果设F(n）为该数列的第n项（n∈N*），那么这句话可以写成如下形式：:F(n)=F(n-1)+F(n-2)/** * @author f...

原创 Scala学习（六）- 函数定义

基本语法：基本语法def 函数名 ([参数名: 参数类型], ...)[[: 返回值类型] =] { 语句... return 返回值}1)函数声明关键字为def (definition)2)[参数名: 参数类型], ...：表示函数的输入(就是参数列表), 可以没有。 如果有，多个参数使用逗号间隔3)函数中的语句：表示为了实现某一功能代码块4)函数可以...

原创 韩顺平老师scala讲课笔记-函数学习方法

原创 Scala学习（四）- while循环、do...while循环、break

Scala的while循环与Java的语法结构基本上差不多While循环/** * @author fengchengliang@126.com * @date 2019/8/24 */object WhileDemo01 { def main(args: Array[String]): Unit = { var i = 10 while(i < ...

原创 Scala学习（三）- for循环

for循环语法格式：for( var x <- Range ){ statement(s);}说明：Range可以是一个数字区间：i to j [i , j](包含首尾)，或者i until j [i , j)（包头不包尾）object ForDemo { def main(args: Array[String]): Unit = { val sta...

原创 我的大数据之旅-Kafaka启停脚本

Kafka起动脚本#!/bin/bashBROKERS="hadoop129 hadoop130 hadoop131"APPHOME="/opt/module/kafka_2.11-2.2.0"APP_NAME="kafka_2.11-2.2.0"for i in $BROKERSdo echo "Starting ${APP_NAME} on ${i} >&gt...

原创 Scala学习（二）- IDEA开发scala程序

目录IDEA开发scala程序1）创建Maven程序2) 添加scala语言支持3) 创建scala文件夹，并标注为源码文件夹4）Hello worldIDEA开发scala程序1）创建Maven程序一路Next下去2) 添加scala语言支持项目名称上 邮件 --> Add Framework Support...选择scala...