- 博客(20)
- 收藏
- 关注
RSS订阅转载 window上可以执行的shell脚本，复制到linux上执行报错了
原因：.sh脚本在windows系统下用记事本文件编写的。不同系统的编码格式引起的。解决方法：修改.sh文件格式（1）使用vi工具vi xxx.sh（2）利用如下命令查看文件格式:set ff 或 :set fileformat可以看到如下信息fileformat=dos 或 fileformat=unix（3） 利用如下命令修改文件格式:set ff=unix 或 :set fileformat=unix:wq (存盘退出)注：在windows下通过git bash可以直接编写uni
2020-09-01 14:59:22
390
原创 Linux系统目录说明
/bin：存放普通用户可执行命令/boot：存放系统装载引导程序/dev：存储介质/etc：存储配置文件/home：普通用户的家目录（相当于windows下的“用户”目录）/lib：库文件/media：挂载外部存储介质（光驱、U盘）/mnt：同上/opt：第三方大型程序安装目录/proc：开机后生成临时配置文件/root：管理员家目录/sbin：存放管理员可执行命令/se...
2019-08-15 10:14:23
212
原创 flume File has been modified since being read
最近在工作中和同事使用flume的时候遇到的一个问题，做下简单的记录：flume File has been modified since being read出现这个问题的原因是，当我们拷贝一个文件的时候，一些对文件进行了修改，就会出现这个错误，但是我们确定了没有对文件进行修改的时候，依旧出现这个问题，简单的查看了一下源码，flume将线程频率设置为500ms，也就是说，当我们拷贝一个特...
2019-01-10 16:14:09
1083
原创 SparkStreaming集群下使用Pull方式整合Flume
集群环境spark版本：2.2.2Flume版本：1.6.0Spark集群：角色IPMaster192.167.17.200Slave1192.167.17.201Slave2192.167.17.202采集（Flume单点）服务器：角色IPinit01192.168.17.100查看资料根据官网（http://s...
2019-01-10 15:49:12
377
原创 Mybatis在insert时返回自增id总是为1
项目过程中，spring-boot整合mybatis在插入用户时，需要返回用户id方便存入session，但是mybatis的insert标签里没有resultType方法，于是使用：<insert id="insert" useGeneratedKeys="true" keyProperty="id" parameterType="com.lc.sharedplatform.port...
2018-12-17 15:18:54
1772
1
原创 Spring Cloud2.x用kafka实现消息总线的坑
框架版本Spring Boot版本：2.0.3Spring Cloud版本：Finchley遇到的问题我按照博客：史上最简单的SpringCloud教程 | 第八篇: 消息总线(Spring Cloud Bus)(Finchley版本)配置之后，在发送post请求：http://localhost:8881/actuator/bus-refresh 后，报出了404的错误，半天摸不到头绪，...
2018-12-17 14:37:32
1293
原创 将Spark的ML/MLlib机器学习库中算法生成的模型存入数据库
在使用Spark的ML/MLlib过程中，想要将算法生成的模型进行保存，方便下次调用，模型的save方法可以将模型以文件的形式保存到磁盘中，但是如果代码运行在其他环境中想要调用模型的话，需要将模型文件copy到其他环境中并配置好模型文件的路径，这样就很麻烦。所以将模型保存至数据库中，其他环境调用起来就很方便。解决思路写入：将模型转换为二进制流存入数据库读取：将数据库中读取的数据进行反序列化，...
2018-12-10 10:55:52
4108
3
原创 java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries.
问题描述：在使用IDEA本地开发spark的过程中，运行程序出现以下错误：java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries. at org.apache.hadoop.util.Shell.getQualifiedBinPath(Shell.java:37...
2018-10-12 12:14:57
683
原创 Scala使用Ansj分词
导包 <!-- https://mvnrepository.com/artifact/org.ansj/ansj_seg --> <dependency> <groupId>org.ansj</groupId> <artifactId>ansj_seg</artifactId> ...
2018-10-09 18:18:30
1479
1
原创 Scala学习第三天
模式匹配 java：对一个值进行条件判断，针对不同条件进行不同处理。（switch）。 scala：变量 match { case value1 => 代码1 case value2 => 代码2 ...... case _ => 代码n} demo：val names = Array("St...
2018-09-27 17:44:34
251
原创 Scala学习第二天
Java/Scala OO（面向对象）封装：属性、方法封装到类中Person：private int id，String name...... getter/setter继承：父类和子类之间的管User extends Person多态：父类引用指向子类对象Person person = new Person();User user = new User()...
2018-09-26 17:46:56
165
原创 Scala学习第一天
val vs varval：值（不能重新赋值，优先使用）val 值名称 : 类型 = 值var：变量（可以重新赋值）var 值名称 : 类型 = 值 Scala基本数据类型Byte/Char/StringShort/Int/Long/Float/DoubleBoolean类型转换：判断类型： lazy在Scala中的应用当你一个变...
2018-09-26 17:37:39
201
原创 CDH5.11离线安装手册（贼详细）
安装环境JDK版本：1.8linux版本：CentOS7CDH版本：5.11.1CM下载点击这里，CDH下载点击这里集群这里我使用虚拟机搭建了三台集群，一台Master，两台Slave角色IPMaster192.168.17.200Slave1192.168.17.201Slave2192.168.17.202步骤介绍环境介绍完了，现在我们就开始安装CDH，安装步骤分为以下几步：1.虚拟机配置2....
2018-07-12 18:11:20
1280
原创 Hive编码问题
前端时间安装hive时遇到的问题： 错误描述：hive进入后可以创建数据库，但是无法创建表 解决办法：登录mysql修改hive编码方式 mysql>alter database hive character set latin1;
2017-12-28 15:03:17
2845
原创 关于：Can't connect to local MySQL server through socket '/tmp/mysql.sock'
问题：安装MySQL5.6一段时间后启动，会出现Can’t connect to local MySQL server through socket ‘/tmp/mysql.sock’问题。解决办法：可以再ln一下， ln -s /var/lib/mysql/mysql.sock /tmp/mysql.sock 如果需要长期有效的话，可以再my.cnf文件的末尾上加上： [client]
2017-12-26 11:47:35
287
原创 Sqoop的安装
Sqoop版本：1.4.6安装与配置 1.上传并解压Sqoop： tar -zxvf sqoop-1.4.6-cdh5.5.2.tar.gz2.将MySQL驱动包拷贝到Sqoop的lib目录下3.配置Sqoop的环境变量4.配置/sqoop/conf/sqoop-env.sh： sqoop-env.sh在此只用到HDFS，只需要配置HADOOP_COMMON_HOME，HADOOP_
2017-12-24 21:00:12
225
原创 Kakfka-Spark Streaming-Spark SQL操作笔记
Kakfka-Spark Streaming-Spark SQL操作笔记
2017-12-17 19:29:49
736
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人