钟晚语夕的专栏

原创 springboot文件流的方式下载文件(包含中文名乱码解决)

解决springboot 中文名文件下载

原创 elasticsearch 集群搭建 + kibana配置

elasticsearch 集群搭建 + kibana配置一、elasticsearch 集群搭建1、下载并解压elasticsearch2、ES集群搭建2.1 打开防火墙9200,9300端口2.2 在每个节点中设置证书密码2.3 配置elasticsearch登录密码2.4 配置HTTP层TLS/SSL加密传输3、kibana安装一、elasticsearch 集群搭建1、下载并解压elasticsearch   选择合适的elasticsearch版本下载，这里我们选择elasticsearch

原创 常用工具类--上传文件

文件上传   将文件上传至服务器，然后通过nginx访问   其中localPath是服务器上文件保存地址，serverIp是文件访问路径public static String upload(HttpServletRequest request, MultipartFile file, String localPath, String serverIp,Long fileNameCode)...

原创 SpringBoot +CXF 发布WebService服务

一、pom文件jar包引入 <!--cxf引入--> <dependency> <groupId>org.apache.cxf</groupId> <artifactId>cxf-spring-boot-starter-jaxws</artifactId> <version>3.2.4</ve...

原创 SpringBoot +CXF 发布WebService服务后其他http请求不能使用

一、概述   因为项目需要，需要再原先项目中发布或者调用WebService服务，考虑到集成Springboot框架，于是采用CXF框架。   WebService注册服务如下：@Configurationpublic class CxfWebServiceConfig {// @Autowired// private Bus bus;// @Autowired...

原创 Spark面试常见问题(一)--RDD基础

1 RDD基础知识1.1 Spark的RDD五大特性1.1.1 A list of partitions  RDD是一个由多个partition（某个节点里的某一片连续的数据）组成的的List；将数据加载为RDD时，一般一个hdfs里的block会加载为一个partition。   对于RDD来说，每个分片都会被一个计算任务处理，并决定并行计算的粒度。用户可以在创建RDD时指定RDD的分片...

原创 HBase配置及操作示例

原创 Log4j写入日志到Flume

一、log4j配置依赖包引入<dependency> <groupId>org.apache.flume.flume-ng-clients</groupId> <artifactId>flume-ng-log4jappender</artifactId> <version>1...

原创 Spark实战(十一)Spark2.x集成Hive

一、Hive配置（一）、简介   一般的公司都会有自己的数据仓库，而大多数都选择的Hive数据仓库，总所周知hive默认使用MapReduce来进行数据操作，MapReduce在计算过程中会涉及数量巨大的网络传输，这需要耗费大量的时间，在计算过程中会反复读写磁盘，极其耗时，因此使用spark来计算可以提高效率，但是之前有很多数据都是通过hive来操作，好在spark可以无缝集成hive，使用h...

原创 Spark实战(十)sparkSQL保存至数据库三种方式

一、当需保存各字段确定时   在spark官方文档上给出了几种保存数据至数据库的方式，在字段确定时使用非常方便，代码如下:## 读取数据val jdbcDF = spark.read .format("jdbc") .option("url", "jdbc:postgresql:dbserver") .option("dbtable", "schema.tablename")...

原创 Spark实战(九)sparkRDD转为DataFrame的两种方式

一、使用反射的方式   这种方式是使用反射的方式，用反射去推倒出来RDD里面的schema，也就是根据包括case class数据的RDD转换成DataFrame，这个方式简单，在已知schema的时候非常方便def main(args: Array[String]): Unit = {val spark = SparkSession.builder().appName("TopNStat...

原创 Springboot项目通过maven打jar包，但在其他项目中无法import

   在springboot中打完jar包，jar包中包含工具类，自定义注解等，但是在其他项目中通过pom文件导入时，虽然能够导入成功，但是无法在代码中import相关的类。查阅相关资料得知，是打包插件的原因，springboot项目中自带的maven插件所打的jar不能引入，换成普通的maven插件即可   springboot中的maven插件如下<build> <p...

原创 Springboot AOP注解方式获取请求参数及返回值并发送至rabbitMQ

   业务需求需要将http请求参数与返回值采集，考虑使用AOP形式，获取到请求值与返回值之后将数据封装为json字符串发送到rabbitMQ中，消费者消费数据后将处理后的数据保存至mongodb或其他数据库中，以下为设置代码构建：自定义注解@Target({ElementType.PARAMETER, ElementType.METHOD})@Retention(RetentionPoli...

原创 SpringBoot集成kafka

生产者1、pom文件中引入相关的包&amp;lt;dependency&amp;gt; &amp;lt;groupId&amp;gt;org.springframework.boot&amp;lt;/groupId&amp;gt; &amp;lt;artifactId&amp;gt;spring-boot-starter-web&amp;lt;/artifactId&amp;gt; &amp;lt;/dep

原创 hadoop实战(八)hive常用函数及练习小示例

首先准备三个表的数据student表—学生基本信息   新建一个student.txt文件，增加如下内容：95001,李勇,男,20,CS95002,刘晨,女,19,IS95003,王敏,女,22,MA95004,张立,男,19,IS95005,刘刚,男,18,MA95006,孙庆,男,23,CS95007,易思玲,女,19,MA95008,李娜,女,18,CS95009,梦...

原创 hadoop实战(七)hiveserver2无法启动

hive配置后无法正常启动解决步骤1.修改core-site.xml   core-site.xml增加如下内容:&lt;property&gt; &lt;name&gt;hadoop.proxyuser.root.hosts&lt;/name&gt; &lt;value&gt;*&lt;/value&gt;&lt;/property&gt;&lt;pr...

原创 Spark实战(八)spark的几种启动方式

spark常用的启动方式一、Local(本地模式)   Spark单机运行，一般用于开发测试。可以通过Local[N]来设置，其中N代表可以使用N个线程，每个线程拥有一个core。如果不指定N，则默认是1个线程（该线程有1个core）。spark-submit 和 spark-submit --master local 效果是一样的，同理spark-shell 和 spark-shell --...

原创 zookeeper安装

一、概念简介   Zookeeper是一个分布式协调服务，就是为用户的分布式应用程序提供协调服务A、zookeeper是为别的分布式程序服务的B、Zookeeper本身就是一个分布式程序（只要有半数以上节点存活，zk就能正常服务）C、Zookeeper所提供的服务涵盖：主从协调、服务器节点动态上下线、统一配置管理、分布式共享锁、统一名称服务……D、虽然说可以提供各种服务，但是zookee...

原创 Elasticsearch6.5.*集群搭建

一、环境准备(一)、新增用户   启动Elasticsearch需要使用非Root用户，否则会报错这里新增一个bigdata用户useradd bigdata#为用户添加密码：passwd bigdata#将bigdata添加到sudoersecho &quot;bigdata ALL = (root) NOPASSWD:ALL&quot; | tee /etc/sudoers.d/bigdatach...

原创 Spark实战(七)spark streaming +kafka(Python版)

一、ZooKeeper集群搭建（一）、集群部署的基本流程   下载安装包、解压安装包、修改配置文件、分发安装包、启动集群（二）、ZooKeeper集群搭建1、下载安装包   去官网下载zookeeper压缩包2、解压安装包   tar -zxvf zookeeper-3.4.12.tar.gz解压并重命名为zookeeper3、修改配置文件cd zookeeper/confcp...

原创 Spark实战(六)spark SQL + hive(Python版)

一、hive环境准备1、安装hive   按照hive安装步骤安装好hiveCREATE USER 'spark'@'%' IDENTIFIED BY '123456';GRANT all privileges ON hive.* TO 'spark'@'%';flush privileges;2、环境配置   将配置好的hive-site.xml放入$SPARK-HOME/...

原创 Spark实战(五)spark streaming + flume(Python版)

一、flume安装（一）概述   Flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。Flume可以采集文件，socket数据包等各种形式源数据，又可以将采集到的数据输出到HDFS、hbase、hive、kafka等众多外部存储系统中，一般的采集需求，通过对flume的简单配置即可实现， Flume针对特殊场景也具备良好的自定义扩展能力，因此，flume可以适用于大部分的...

原创 Spark实战(四)spark+python快速入门实战小例子(PySpark)

一、flume安装（一）概述   Flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。Flume可以采集文件，socket数据包等各种形式源数据，又可以将采集到的数据输出到HDFS、hbase、hive、kafka等众多外部存储系统中，一般的采集需求，通过对flume的简单配置即可实现， Flume针对特殊场景也具备良好的自定义扩展能力，因此，flume可以适用于大部分的...

原创 Spark实战(三)本地连接远程Spark(Python环境)

一、Python环境准备   远程服务器上Python版本要与本地想匹配，这里本地使用Anaconda来进行安装，远程服务器之间安装。wget --no-check-certificate https://www.python.org/ftp/python/3.6.7/Python-3.6.7.tgztar -zxvf Python-3.6.7.tgz sudo ./configure -...

原创 Spark实战(二)Spark常用算子

一、算子分类   从大方向来说，Spark 算子大致可以分为以下两类:    1）Transformation 变换/转换算子：这种变换并不触发提交作业，完成作业中间过程处理。   Transformation 操作是延迟计算的，也就是说从一个RDD 转换生成另一个 RDD 的转换操作不是马上执行，需要等到有 Action 操作的时候才会真正触发运算。   2）Action 行动算...

原创 Spark实战(一)集群搭建

一、单个Mater   1.官网下载spark安装包   2.上次安装包到linux集群上并解压   3.配置，cd到解压目录下的conf目录中，cd conf/mv spark-env.sh.template spark-env.shvi spark-env.sh   在该配置文件中增加如下配置，并保持退出export JAVA_HOME=/home/hadoop/jdk...

原创 hadoop实战(六)HIVE安装

   按照前面的步骤搭建好hadoop集群后，只需要在其中一个节点上安装一个即可。步骤如下   1.上传tar包，通过SFTP上传，使用指令：put 路径   2.解压tar -zxvf hive-1.9.0.tar.gz -C /home/hadoop   3.安装mysql数据库（切换到root用户）(ubuntu下使用sudo apt-get install mysql-server ...

原创 hadoop实战(五)MAPREDUCE操作

一、基础概念   Maapreduce是一个分布式运算程序的编程框架，是用户开发“基于hadoop的数据分析应用”的核心框架；Mapreduce核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序，并发运行在一个hadoop集群上；(一)、为什么使用MAPREDUCE   1、海量数据在单机上处理因为硬件资源限制，无法胜任   2、一旦将单机版程序扩展到集群来分...

原创 hadoop实战(四) HDFS常用操作指令

一、HDFS的概念和特性   首先，它是一个文件系统，用于存储文件，通过统一的命名空间——目录树来定位文件。其次，它是分布式的，由很多服务器联合起来实现其功能，集群中的服务器有各自的角色重要特性如下：   （1）HDFS中的文件在物理上是分块存储（block），块的大小可以通过配置参数( dfs.blocksize)来规定，默认大小在hadoop2.x版本中是128M，老版本中是64M ...

原创 hadoop实战(三) 使用HDFS操作文件

一、hadoop简介   HADOOP集群具体来说包含两个集群：HDFS集群和YARN集群，两者逻辑上分离，但物理上常在一起   HDFS集群：负责海量数据的存储，集群中的角色主要有 NameNode / DataNode   YARN集群：负责海量数据运算时的资源调度，集群中的角色主要有 ResourceManager /NodeManager二、hdfs的工作机制(一)、概述  ...

原创 hadoop实战(二)ubuntu18.04搭建hadoop集群

一、 安装JDK   官网下载jdk压缩包并解压， vim /etc/proflie 或者修改vi ~/.bashrc 加上如下：export JAVA_HOME=/home/hadoop/jdk1.8.0_161export HADOOP_HOME=/home/hadoop/hadoop-2.9.1export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_H...

原创 hadoop实战(一) vmware下克隆多个ubuntu18.04服务器并开启ssh远程登录

一、 系统安装   因为使用虚拟机搭建集群，同一台电脑上需要启动多个服务器，因此对电脑负载比较大，因此选用server版本的iso，不必要的功能尽量不安装。可以去以下地址下载 https://www.ubuntu.com/download/server  安装完之后需要先更新一下，sudo apt-get update，然后在虚拟机–&amp;gt;管理–&amp;gt;克隆，复制三台。   复制完...

原创 常用工具类--路径工具类

  获取图片路径public static String getPicturePath(String pathType, String pathCategory) { String strResult = ""; HttpServletRequest request = ((ServletRequestAttributes) RequestContextHolder .getReque...

原创 常用工具类--freemarker生成文件

freemarker使用  引入包import freemarker.template.Configuration;import freemarker.template.Template;import freemarker.template.TemplateException;import org.springframework.web.servlet.view.freemarker.F...

原创 常用工具类--HttpClient常用请求(Post/Get)

HttpClient请求获取数据 引入相应的包import org.apache.http.NameValuePair;import org.apache.http.client.entity.UrlEncodedFormEntity;import org.apache.http.client.methods.CloseableHttpResponse;import org.apache...

原创 常用工具类--solr索引添加 查询 删除

solr常用操作 首先是连接solr服务器：public class solrServer { private solrServer(){}; final static String SOLR_URL = "http://localhost:8080/solr/test"; private static HttpSolrClient server = null; ...

原创 常用的Web服务架构

一、单DB架构  单DB架构一般就是nginx直接upstream请求到后端Tomcat，扩容时基本是增加新的Tomcat实例，然后通过Nginx负载均衡upstream过去，此时数据库还不是瓶颈，但是当访问量达到一定级别后数据库的压力就上来了，单个数据库可能扛不住，可以通过分表分库或者读写分离加缓存来解决。二、DB+Cache/数据库读写分离架构   此时通过使用数据库读写分离或者...

原创 java面试一道令人怀疑人生的java面试题

   题目比较简单，写一个swap方法，交换两个Integer的值。方法一使用中间变量直接交换private static void swap(Integer num1,Integer num2){ Integer tmp = num1; num1 = num2; num2 = tmp; }   当然，如果仅仅按照以上方结果是不能...

原创 微信小程序保存图片以及分享给朋友

一、保存图片   微信小程序中使用得比较多的就是分享功能，基本上都会用到，尤其是对二维码图片，保存在本地或者将小程序分享给朋友，好在微信小程序提供的api中已经告诉了该怎么使用，下面就将所用到的分享出来。    首先是通过请求后端接口获取图片地址，当然也可以不用请求直接将地址写死。 wx.request({ url: getApp().data.serviceUrl ...

原创 微信小程序新版授权

   最初微信小程序获取权限只需调用getUserInfo，便会弹出授权窗口 wx.getUserInfo({ success: function (res) { that.setData({ nickName: res.userInfo.nickName, avatarUrl: ...