weixin_45966987的博客

原创 数据迁移(Oracle迁移到mysql)

项目要求将Oracle中数据迁移到mysql中，采用dataX，mysql的存储过程实现的。数据结构：数据源层（Oracle）备份层（mysql）映射层（mysql）项目实际可操作性：数据库备份，回退脚本，数据验证主要内容：第一次上线： 1.远程操作安装dataX，需要配置conf来确定日志通过时间目录划分表名作为每张表的文件名。 2.通过dataX将Oracle数据传输到mysql中，传输两种形式的数据，第一种全量数据直接导入，第二种是根据任务号...

原创 spark +MongoDB出现报错： Cannot cast BsonValue

运用Spark将数据插入mongodb中，出现上述这样错误，可用以下两种方法试一下：1.放在spark目录lib下的jar包mongo-spark-connector是否与spark的版本有冲突，2.spark插入的数据存在decimal，bigint 之类的值，需要插入之前转化成double和 long 类型的，比较麻烦的方法是通过sparkcore遍历每个元素去判断，这个我们就不建议了，还有个比较简单的方式，dataframe转化是decimal，bigint 的数据类型的列，生成新的datafr

原创 MySQL 获取某张表的所有字段，并且作为一个字符串存储。

原创 MySQL的存储过程实现某个字段值（字段值的长度不确定）的获取通过同表另一个字段去关联其他表获取

注意：主要是同表的另一个字段值的长度不确定（如果长度确定就很简单了，不在此处复述了），例如根据调查员工号获取员工姓名，此时调查员工号可能是一个，两个，三个，等等，此时通过substring截取肯定行不通，同时考虑另一个问题，工号是一个长度不确定字符串，那获取的员工姓名也是一个长度不确定的字符串，但我们不可能把切割出来的每个工号作为关联条件进行外连接，所以我们可以分三步走，第一步获取每个字符串中每个员工号，第二步获取每个字符串中员工号的个数，第三步通过遍历将每个员工号遍历到一张临时表中，该临时表只有员工号这一

原创 运用客户端client对solr进行测试是否搭建成功

1. bin目录下进行如下命令：查看所有的库名2. 创建库所需要的所有配置文件夹和路径3. 修改配置文件夹名字，并且创建配置文件库指定路径。4. 创建索引库，并查看是否创建成功...

原创 Spark多维元组中实现某个字段的分区和排序取值

自定义分区的类：class UDFPartitioner(args: Array[String]) extends Partitioner { private val partitionMap: HashMap[String, Int] = new HashMap[String, Int]() var parId = 0 for (arg <- args) { if ...

原创 在使用IEDA对hbase进行操作时，zookeeper总是显示拒绝连接。

问题：WARN zookeeper.ClientCnxn: Session 0x0 for server null, unexpected error, closing socket connection and attempting reconnect可能性：1.未关闭防火墙2.在hbase中hbase-site.xml中设置的ZK的主机名和端口号未设置正确。3.ZK的服务未启动，必须...

原创 ES的入门

这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入欢迎使用Ma...