chongxilei2565-CSDN博客

/** * spark通过jdbc读取数据 * @param spark * @return */ def getData(spark:SparkSession): Dataset[Row] ={ //方式一 val jdbcD...

2019-05-07 18:52:00 2715

/** * spark从hbase中读取数据 * @param hbaseConfig * @param spark */ def getHbase(hbaseConfig:Configuration,spark:SparkSession): Un...

2019-05-05 23:41:00 133

1、环境准备： 2、解压安装： tar -zxvf zookeeper-3.4.8.tar.gz 3、新建目录 mkdir -p /zookeeper/datamkdir -p /zookeeper/logs 4、进入新建的zookeeper中的data目录 cd...

2018-02-22 17:19:00 116

springboot内置了tomcat，所以springboot项目在开发环境中一般直接以jar包的形式进行运行，但在生产环境中还是建议使用tomcat来进行部署，独立部署到tomcat中需要注意以下几个事项： 1.设置打包形式为war包： <packaging&gt...

2018-02-22 10:30:00 365

MapReduce是一种编程模型，用于大规模数据集（大于1TB）的并行运算。概念"Map（映射）"和"Reduce（归约）"，是它们的主要思想，都是从函数式编程语言里借来的，还有从矢量编程语言里借来的特性。它极大地方便了编程人员在不会分布式并行编程的情况下，将自己的程序运行在分布式系统...

2017-12-29 10:40:00 91

开发过程中不断的重启，很是耽误时间，大家对这个操作都是深恶痛绝的，SpringBoot提供了热部署的相关的配置，方式有很多种，这里推荐一种最好的，新增类以及修改配置文件都无须重新启动项目的配置。 springboot中提供devtools可以进行热部署，添加依赖： <dependen...

2017-08-30 14:15:00 94

SpringBoot默认的json解析框架是jackson，我们可以将解析框架换成fastjson。准备工作先添加fastjson依赖包： <dependency><groupId>com.alibaba</groupId><artifa...

2017-08-30 14:09:00 97

SpringBoot在实际应用中有以下特点： 1. 创建独立的Spring应用程序； 2. 嵌入的Tomcat，无需部署WAR文件； 3. 简化Maven配置； 4. 自动配置Spring； 5. 提供生产就绪型功能，如指标，健康检查和外部配置； 6. 绝对没有代码生成和对XML没...

2017-08-30 13:43:00 149

#最近老是遇到一些古怪的问题，一些很基础的功能总出问题，在本地环境测试通过，在生产环境上验证也没有问题，但是在预发布环境就一直有问题，百思不得姐，一直怀疑预发布环境有什么问题，于是就有了下面的内容# 其实这样操作是不对的，尤其不要轻易在生产环境上尝试，出了问题概不负责。但这样做的好处在于...

2017-08-07 15:37:00 88

最近工作可能会用到图片文字识别，所以提前储备一些相关的知识，貌似tess4j的口碑不错，但是最后的遇到的问题是中文识别率不够高，看看还有什么其他开源工具能够使用。在自己搭建环境，遇到的各种问题还是记录一下。机器环境：64位win7 开发环境：jdk7 64位一、准备工作...

2016-06-25 23:00:00 180

hadoop在上传文件遇到若干问题，其中设置hadoop_home以及上传端口问题。设置HADOOP_HOME环境变量，还需要winutils.exe文件，变量值为winutils.exe的目录位置例如D:\Program Files\hadoop 刚开始测试hadoop上传文件...

2014-11-03 16:11:00 227

chongxilei2565的博客