- 博客(73)
- 资源 (4)
- 收藏
- 关注
原创 Sqoop抽取Hive数据到Oracle
使用Sqoop抽取Hive数据到Oracle,报错:Timestamp format must be yyyy-mm-dd hh:mm:ss[.fffffffff] at java.sql.Timestamp.valueOf(Timestamp.java:204) at ...这是一个Sqoop时间戳转化方法的格式差异问题:各系统实现的时间戳转换方法中的截断和位数细节上有所差异。1.4问题日志:当导入Oracle时会出现时间转化失败的问题。
2023-05-03 15:37:14
650
原创 Linux系统初始化配置:网络、换源、服务管理、软件更新
一、virbr0虚拟网卡的卸载方法在使用双机软件过程中,如果系统是centos 5.x 默认系统安装完成后为xen内核,那么xen内核引导启动后就会有虚拟网卡(vethx、vif0.x、virbr0、xenbr1等)存在。这就会直接导致双机软件的两台机器中都会有相同的IP地址存在(virbr0网卡的IP地址都为192.168.122.1)。所以会导致双机系统中的主机关机时,备机不会接管的现象。所以,需要将virbr0卸载掉: 执行命令:yum remove -y libvirt*,用ifcon
2022-11-11 07:18:12
597
原创 记DataX-datax_v202209:oceanbasev10writer版本号比较问题导致写入OceanBase3.2.3.0报错:java.lang.NumberFormatException
Error:使用DataX中oceanbasev10writer插件向OceanBase3.2.3.0中写数据报错:java.lang.NumberFormatException: multiple points源码分析、源码调试、源码问题修复、本地调试DataX
2022-10-25 01:20:52
1866
1
转载 Hive 常用日期处理-昨天、本月、上月同期、去年同期、月初、月末等
一、参考日期为当前日期以当前系统日期作为参考日期,将其转换为统一的天维度yyyyMMdd数据格式。 例如当前日期为2021-01-29昨天方式一:date_format(date_sub(current_date(),1), 'yyyyMMdd')select date_format(date_sub(current_date(),1), 'yyyyMMdd') 20210128方式二:date_format(date_sub(from_unixtime(unix_timesta
2022-04-30 10:58:29
11723
原创 Sqoop 各种参数的配置解析及使用案例
一、Sqoop原理简介Sqoop本质上是一个数据传输工具,能够将用户编写的Sqoop命令翻译为MR程序,基于MR程序读取关系型数据库中的数据,写入到HDFS或者读取HDFS上的数据,写入到关系型数据库!在MR程序中如果要读取关系型数据库中的数据,必须指定输入格式为DBInputformat!在MR程序中如果要向关系型数据库写入数据,必须指定输出格式为DBOutputformat!Sqoop命令运行的MR程序, 只有Map阶段,没有Sqoop命令运行的MR程序, 只有Map阶段,没有Reduce阶段。
2022-01-08 04:07:58
2911
1
原创 Sqoop将Hive数据导入MySQL异常
完美解决:使用Sqoop导数据导入mysql报错duplicate entry for ' ' key primary
2022-01-02 21:50:07
1913
转载 @Transient注解的使用
@Transient注解的使用转自:https://blog.csdn.net/sinat_29581293/article/details/51810805java 的transient关键字的作用是需要实现Serilizable接口,将不需要序列化的属性前添加关键字transient,序列化对象的时候,这个属性就不会序列化到指定的目的地中。transient使用小结1)一旦变量被t...
2020-04-24 18:55:53
881
转载 bootstrap-table tableExport 导出xlsx格式表格
在[十六、bootstrap-table javascript导出数据]中,打开导出的表格时,总会弹出一个提示窗那么,导出xlsx格式的应该就没问题了吧?!实验如下,查找tableExport.js资料TableExport插件依赖于jQuery(1.2.1+),FileSaver.js。为了支持.xlsx(Office Open XML SpreadsheetML Format)格式,...
2020-04-19 15:07:35
1353
转载 SpringMVC中css,js,图片等静态资源被拦截的解决办法
一、静态资源的存放路径css,js,图片等静态资源存放在项目的路径必须为二、html、jsp导入静态资源文件html、jsp页面中的导入静态资源文件:js:css:图片:二、web.xml和SpringMVC配置文件中的配置方法一:web.xml中的配置:SpringMVC配置文件中的配置:方法二:web.xml中的配置:...
2020-02-05 17:01:40
419
1
原创 解决HBase错误,ERROR: org.apache.hadoop.hbase.PleaseHoldException: Master is initializing
HBase错误日志:2019-12-23 00:35:05,844 ERROR [Thread-65] master.HMaster: Master failed to complete initialization after 900000ms. Please consider submitting a bug report including a thread dump of this ...
2019-12-23 01:11:42
2628
3
转载 Spark中map和flatMap的区别详解
Spark中map和flatMap的区别详解本文介绍了Spark中map(func)和flatMap(func)这两个函数的区别及具体使用。函数原型1.map(func)将原数据的每个元素传给函数func进行格式化,返回一个新的分布式数据集。(原文:Return a new distributed dataset formed by passing each element of ...
2019-11-21 23:59:55
718
转载 IntelliJ IDEA 中如何部署 Web 项目
本文地址:www.cnblogs.com/deng-cc/p/6416332.html小伙伴看了松哥录制的视频教程后直呼 666,很多小伙伴表示自己虽然用了很久的IDEA但是自从看了松哥的 Spring Boot 视频教程才发现IDEA中原来有这么多好用的技巧,因此希望松哥专门录制一个IDEA使用教程的视频,这两天准备了一下,打算抽空满足大家的这个需求。今天就先和大家分享一个...
2019-11-14 22:05:39
1094
原创 解决CentOS启动提示unexpected inconsistency;RUN fsck MANUALLY的问题(断电重启报错)
使用CentOS过程中,不小心断了电,导致了下面的问题,记录一下解决的方法出现这样的问题,极大可能是异常断电。解决方法如下,输入密码进入命令行,执行(由于截图中是/dev/mapper/vg_cmaster-lv_root出错,所以命令中是对/dev/dev/mapper/vg_cmaster-lv_root进行恢复)fsck -y /dev/mapper/vg_cmaster-lv...
2019-11-07 17:18:33
3254
1
原创 Hue安装详解(编译中的坑与爬)
1.上传解压安装包Hue的安装支持多种方式,包括rpm包的方式进行安装、tar.gz包的方式进行安装以及cloudera manager的方式来进行安装等,我们这里使用tar.gz包的方式来进行安装,此教程也适用于git下来的源码包的编译安装,主要是教会分析与解决编译过程中的出现的依赖问题。Hue的压缩包的下载地址:http://archive.cloudera.com/cdh5/c...
2019-10-27 18:03:04
1502
2
原创 关于yum命令下载出现 fails with the error : [Errno 256] No more mirrors to try等的问题分析及解决
环境Red Hat Enterprise Linux 5 and later Red Hat Customer Portal Red Hat Subscription Management (RHSM) Red Hat Satellite问题yum updatefails with the error : [Errno 256] No more mirrors to try y...
2019-10-27 16:55:36
1279
转载 Linux安装软件包的三种方法;rpm包介绍、rpm工具的用法;yum工具用法、源码包安装
1、rpm工具2、yum工具 (支持自动安装依赖的包)3、源码包 安装源码包,需要我们把源代码编译成可执行的二进制文件rpm包介绍挂载一下光驱看一下rpm包mount /dev/cdrom /mnt 挂载到/mnt下ls /Packages 查看一下里面的rpm包画圈的依次为:rpm包格式包名、版本号、发布版本号、平台rpm工具使用r...
2019-10-27 14:26:39
451
原创 想到开头,没想到结尾系利——MapReduce自定义分区策略,序列化相关的坑
有需求实现按手机号所属省份划分来对用户进行划分,相同省份的用户打印在同一文件中,想到可以使用MapReduce的自定义分区策略来实现,大致思路是获取手机号,获取数据库手机号号段--省份--省份编号对应关系,查询手机号查询对应关系,把省份编号作为分区编号即:Tasks编号,修改下面算法即可:p_Id=hash(userPhoneNumber)%TasksNum.然而想到开头,没想到结尾,却入...
2019-10-15 01:53:06
234
原创 DeBug调试解决在跑MapReduce程序时,出现Caused by: java.lang.ArrayIndexOutOfBoundsException: 1(数组越界异常)问题
在跑MapReduce程序时,出现了Caused by: java.lang.ArrayIndexOutOfBoundsException: 1(数组越界异常)分析过程:从这些提示信息中可以获取如下信息:1、错误发生在17行,找到对应行2、发生错误的时候,下标的值为1接下来分析为什么下标值为什么是1时出现越界,就可以解决了。我们使用打断点的方式找到问题根源:再出...
2019-10-13 13:49:47
4442
2
转载 编译原理:如何判断一颗语法树的短语、直接短语、句柄、素短语
概念如果S->* αAβ and A->+γ,则称γ是句型αγβ的相对于变量A的短语 。如果S->* αAβ and A->γ,则称γ是句型αγβ的相对于变量A的直接(简单)短语 最左直接短语叫做句柄。其实最简单的判断方法直接画出语法树了。文法S->(L)|aS|aL->L,S|S分析(S,(a))1.先画出语法树 ...
2019-05-25 19:31:34
13588
5
原创 实验三十二 LevelDB实验:读写LevelDB
实验指导:32.1 实验目的1.了解LevelDB的使用场景;2.理解LevelDB数据存储结构;3.比较LevelDB和redis的区别;4.能对LevelDB的整体架构有一定的了解;5.能正确的使用LevelDB并能进行简单使用。32.2 实验要求本实验要求同学能够使用C++语言完成对LevelDB库完成以下操作:1.连接到LevelDB数据库;2.写入...
2019-05-22 19:51:24
1108
原创 实验三十九 综合实战:推荐系统
实验指导:39.1 实验目的了解常用的基于矩阵分解的协同过滤推荐算法的基本原理,掌握Spark MLlib中对基于模型的协同过滤算法的封装函数的使用,对Spark中机器学习模块内容加深理解。39.2 实验要求1. 实验提供数据集,包含用户数据、电影数据、电影评分数据以及我的评分数据;2. 根据提供的电影评分数据,利用Spark进行训练,得到一个最佳推荐模型;3. 用实际数据...
2019-05-21 09:43:34
1322
原创 实验三十 MapReduce与Spark读写Redis
实验指导:30.1 实验目的1.会使用MapReduce访问Redis数据;2.会使用Spark访问Redis数据。30.2 实验要求1.在master机上,使用MapReduce代码读取Redis数据;2.在master机上,使用Spark代码读取Redis数据。30.3 实验原理假定现有一个大为1000G的大表big.txt和一个大小为10G的小表small.t...
2019-05-08 00:58:00
1246
1
原创 实验二十三 新建HBase表
实验指导:23.1 实验目的1. 掌握HBase数据模型(逻辑模型及物理模型);2. 掌握如何使用Java代码获得HBase连接,并熟练Java对HBase数据库的基本操作,进一步加深对HBase表概念的理解。23.2 实验要求通过Java代码实现与HBase数据库连接,然后用Java API创建HBase表,向创建的表中写数据,最后将表中数据读取出来并展示。23.3 实验...
2019-05-07 23:24:27
1268
原创 实验二十九 Redis部署与简单使用
实验指导:29.1 实验目的1.熟悉了解CentOS系统;2.学习从C++源代码编译成可执行文件并安装运行;3.学习安装Redis;4.学习配置Redis;5.学会简单使用Redis。29.2 实验要求在client机上,安装配置并简单使用Redis。29.3 实验原理29.3.1 CentOS 简介全称为Community Enterprise Ope...
2019-05-06 18:49:55
999
原创 实验三十一 MongoDB实验:读写MongoDB
实验指导:31.1 实验目的1.了解NoSQL 数据库的原理;2.理解NoSQL数据库的结构;3.比较MongoDB和Hbase的区别;4.能对MongoDB的存储格式有一定的了解;5.能正确的使用MongoDB并能进行简单使用。31.2 实验要求1.正确的搭建MongoDB数据库环境;2.能正常启动MongoDB的服务和服务的连接;3.能在MongoDB的...
2019-04-30 09:18:22
1804
1
原创 实验六十五 R语言基础:文件操作
实验指导:65.1 实验目的学习R语言读写txt和csv文件的方法。65.2 实验要求掌握R语言读写txt和csv文件的方法。65.3 实验原理R语言支持读写多种数据格式的文件,包括txt,csv,excel,xml,json等。但是读写excel等文件需要安装第三方的库,而最常操作的文件其实是txt和csv格式的文件,并且对于这两种文件的读写不需要安装其它的库,因为这已经...
2019-04-24 08:33:12
1241
原创 实验六十四 R语言基础:流程控制
64.1 实验目的1. 理解程序的逻辑结构;2. 理解分支结构;3. 理解循环结构。64.2 实验要求1. 掌握分支结构;2. 掌握循环结构。64.3 实验原理流程控制是存在于所有计算机语言里的基本概念,指在程序运行时,个别的指令执行或求值的顺序。一段程序有三种基本的控制结构,分别是顺序结构、分支结构和循环结构。程序语句由上到下逐行执行,便是顺序结构;分支结构是程序...
2019-04-23 08:44:36
669
原创 实验二十二 部署HBase
实验指导:22.1 实验目的1. 掌握HBase基础简介及体系架构;2. 掌握HBase集群安装部署及HBase Shell的一些常用命令的使用;3. 了解HBase和HDFS及Zookeeper之间的关系。22.2 实验要求1. 巩固学习下实验一、实验二、实验二十;2. 部署一个主节点,三个子节点的HBase集群,并引用外部Zookeeper;3. 进入HBase...
2019-04-22 21:18:49
729
原创 SpringMVC中web.xml配置文件的要点解析
SpringMVC中web.xml配置文件的要点解析:1.web.xml 中<context-param>与<init-param>的区别与作用<context-param>的作用:web.xml的配置中<context-param>配置作用1.启动一个WEB项目的时候,容器(如:Tomcat)会去读它的配置文件web.xml.读...
2019-04-21 08:49:39
243
原创 实验二十一 ZooKeeper进程协作
实验指导:21.1 实验目的掌握Java代码如何连接ZooKeeper集群及通过代码读写ZooKeeper集群的目录下的数据,掌握ZooKeeper如何实现多个线程间的协作。21.2 实验要求用Java代码实现两个线程,一个向ZooKeeper中某一目录中写入数据,另一线程监听此目录,若目录下数据有更新则将目录中数据读取并显示出来。21.3 实验原理通过ZooKeeper实...
2019-04-20 21:10:05
961
原创 mysql建表常用sql语句
最近跟项目,写后台需要用到SQL语句,就整理了一下mysql建表常用sql语句,并写几个可执行SQL脚本,方便日后复习查看以及使用:连接:mysql -h主机地址 -u用户名 -p用户密码 (注:u与root可以不用加空格,其它也一样)断开:exit (回车)创建授权:grant select on 数据库.* to 用户名@登录主机 identified by \"密码\"修改密码:m...
2019-04-20 11:49:49
15784
原创 实验十九 Spark实验:GraphX
实验指导:19.1 实验目的1.了解Spark的图计算框架GraphX的基本知识;2.能利用GraphX进行建图;3.能利用GraphX进行基本的图操作;4.理解GraphX图操作的算法。19.2 实验要求要求实验结束时,每位学生能完成正确运行Spark GraphX的示例程序,正确上传到集群中运行得到正确的实验结果。实验结束时能对实验代码进行一定的理解。19....
2019-04-20 00:11:39
1720
原创 实验二十 部署ZooKeeper
实验指导:20.1 实验目的掌握ZooKeeper集群安装部署,加深对ZooKeeper相关概念的理解,熟练ZooKeeper的一些常用Shell命令。20.2 实验要求部署三个节点的ZooKeeper集群,通过ZooKeeper客户端连接ZooKeeper集群,并用Shell命令练习创建目录,查询目录等。20.3 实验原理ZooKeeper 分布式服务框架是 Apache...
2019-04-19 22:39:58
1475
转载 Google 工程师是怎么处理大规模数据的?
Google 工程师是怎么处理大规模数据的?蔡元楠极客时间毫无疑问,Google是公认的大数据鼻祖。如今很多人提起大数据,还停留在Google开启的“三驾马车”时代:GoogleFS、MapReduce、BigTable。其实,“三驾马车”早已不是浪潮之巅。近年来,大数据技术的发展,不论是技术迭代,还是生态圈的繁荣,都远超我们的想象。从Spark成为Hadoop生态...
2019-04-15 18:53:16
723
原创 实验十八 Spark实验:Spark Streaming
实验指导:18.1 实验目的1. 了解Spark Streaming版本的WordCount和MapReduce版本的WordCount的区别;2. 理解Spark Streaming的工作流程;3. 理解Spark Streaming的工作原理。18.2 实验要求要求实验结束时,每位学生能正确运行成功本实验中所写的jar包程序,能正确的计算出单词数目。18.3 实验原...
2019-04-14 20:00:50
2773
原创 实验十五 Spark实验:RDD综合实验
实验指导:15.1 实验目的1. 通过Spark-shell的操作理解RDD操作;2. 能通过RDD操作的执行理解RDD的原理;3. 对Scala能有一定的认识。15.2 实验要求在实验结束时能完成max,first,distinct,foreach等api的操作。15.3 实验原理RDD(Resilient Distributed Datasets,弹性分布式数据...
2019-04-13 20:54:42
4060
原创 实验十七 Spark实验:Spark SQL
实验指导:17.1 实验目的1. 了解Spark SQL所能实现的功能;2. 能够使用Spark SQL执行一些sql语句。17.2 实验要求1. 能在实验结束之后完成建立数据库,建立数据表的数据结构;2. 建立数据表之后能在Spark SQL中执行SQL语句进行查询;3. 练习怎么向Spark SQL中导入数据。17.3 实验原理Spark SQL用于以交互式...
2019-04-10 13:04:23
2090
原创 实验十六 Spark实验:Spark综例
实验指导:16.1 实验目的1. 理解Spark编程思想;2. 学会在Spark Shell中编写Scala程序;3. 学会在Spark Shell中运行Scala程序。16.2 实验要求实验结束后,能够编写Scala代码解决一下问题,并能够自行分析执行过程。有三个RDD,要求统计rawRDDA中“aa”、“bb”两个单词出现的次数;要求对去重后的rawRDDA再去掉r...
2019-04-10 09:30:09
2907
java swing opencv调用摄像头实现拍照及本地保存支持上传FTP路径配置
2018-04-21
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人