okakio的博客

原创 【HANA】日期函数

–获取今天REPLACE(CAST((TO_DATE(CURRENT_TIMESTAMP)) AS VARCHAR(10)),’-’,’’) AS DATE–获取这个月LEFT(REPLACE(CAST((TO_DATE(CURRENT_TIMESTAMP)) AS VARCHAR(10)),’-’,’’),6) month–获取上个月最后一天SELECT LAST_DAY(ADD_MONTHS_LAST(TO_DATE (CURRENT_DATE, ‘YYYY-MM-DD’), -1)) “ad

原创 【持续更新ing】帆软报表中常见的js代码

调用存储过程setTimeout(function() {//这一步需要拼接起来 把需要传的参数拼接起来 var sql = "EXEC [dbo].[存储过程名称] "+pro+","+""+new_v+""+","+old_v +","+""+fine_username+""; var e =FR.remoteEvaluate('SQL("模式名","'+sql+'",1,1)');//刷新 contentPane.refreshAllSheets();}, 100);关闭子页面，并

原创 【待解决】 tar时gzip: stdout: No space left on device

原创 Linux下内存buff/cache占用过多问题解决

转载记录在Linux下经常会遇到buff/cache内存占用过多问题，尤其是使用云主机的时候最严重，由于很多是虚拟内存，因此如果buff/cache占用过大的，free空闲内存就很少，影响使用；通常内存关系是：普通机器：total=used+free虚拟机器：total=used+free+buff/cache输入命令echo 1 > /proc/sys/vm/drop_cachesecho 2 > /proc/sys/vm/drop_cachesecho 3 > /pr

转载 Linux上传输大于4G的文件，sz命令用不了

转载 记录拆分文件：cat tomcat7.zip | split -b 2G - tomcat7.zip.命令解释：tomcat7.zip 是待下载的大于4g文件拆分成2G的小文件tomcat7.zip. 是拆分后文件的前缀，默认分拆后文件名称为tomcat7.zip…ab,ab,ac…下载多个小文件：sz tomcat7.zip.a*windows中合并：1.打开cmd，进入sz下载拆分文件所在目录。2.copy /B tomcat7.zip.aa + tomcat7.zip

原创 SQLserver获取本周、本月、本季、本年、第一天、最后一天

--本周第一天select dateadd(WEEK, datediff(WEEK, 0, getdate()), 0);--本周最后一天select dateadd(WEEK, datediff(WEEK, 0, getdate()), 6);--上周第一天select dateadd(WEEK, datediff(WEEK, 0, getdate())-1, 0);--上周最后一天select dateadd(WEEK, datediff(WEEK, 0, getdate())-1, 6)

原创 linux安装配置阿里云的yum源

备份原本的仓库文件cd /etc/yum.repos.d/mkdir allbakmv ./* allbak#此时 /etc/yum.repos.d/底下就没有repo文件，此时无法使用yum工具，必须配置yum源，生成新的.repo文件1.下载第一个阿里云仓库文件wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo-O 参数 ，指定一个下载地址，且改名2.配置第二个仓库文

原创 SQLServer分区分表注意事项

注意事项1.对一张表分好区后不可以进行再次分区，同时也没有直接取消表分区的方法。2、如果要查看已分区表的分区状态以及每个分区中的行数和占用空间，可以通过Storage-》Management Compression查看。同时可以在这里为每个分区指定压缩方式。3.如果分区表索引没有对齐，则不可以对该表进行切入切出（Switch in/out）操作，同样也不能执行滑动窗口操作。4.分区实际上是在每个分区表都添加了约束，相应的插入操作的性能也会受到影响。即使进行了分区，如果查询的条件字段和分区列并没有关

原创 orderBy后自定义排序

order by case XXwhen ’ ’ then 1when ’ ’ then 2else 3end

原创 sql server根据时间范围查询当天，本周，本月，本季度，本年等

1.查询今日的所有数据select * from 表名 where datediff(day,字段名,getdate()) = 02.查询昨日的所有数据select * from 表名 where datediff(day,字段名,getdate()-1) = 03.查询本周的所有数据select * from 表名 where detediff(week,字段名,getdate()) = 04.查询本月的所有数据select * from 表名 where datediff(month

原创 【无解ing】kettle驱动版本不支持

使用kettle连接SQLserver数据库时，一直报错，报错是驱动错误。网上的解决方案是下载jdts包，但是各种jar包，各种版本都试了，无解。。。先存个档。。等我会了再解决吧。。

原创 Error while instantiating 'org.apache.spark.sql.hive.HiveSessionStateBuilder'

Exception in thread “main” java.lang.IllegalArgumentException: Error while instantiating ‘org.apache.spark.sql.hive.HiveSessionStateBuilder’:代码如下:==所以排除代码的问题 ==

原创 HBase基本介绍

文章目录简介2、HBase与Hadoop的关系3、RDBMS与HBase的对比4、HBase特征简要5、HBase的基础架构组件：简介hbase是bigtable的开源java版本。是建立在hdfs之上，提供高可靠性、高性能、列存储、可伸缩、实时读写nosql的数据库系统。它介于nosql和RDBMS之间，仅能通过主键(row key)和主键的range来检索数据，仅支持单行事务(可通过hi...

原创 Hbase报错:ERROR: Can't get master address from ZooKeeper; znode data == null

Hbase报错:ERROR: Can’t get master address from ZooKeeper; znode data == null方法一：查看日志报SessionExpiredException: KeeperErrorCode = Session expired for /hbase/master原因一: 所以是hbase 和 zookeeper之间会话超时了，按照官网...

原创 Flume的多种配置方式

文章目录Flume接受telent数据第一步：开发配置文件第二步：启动配置文件第三步：安装telent准备测试采集目录到HDFS配置文件编写：启动flume上传文件到指定目录采集文件到HDFS需求分析：定义flume的配置文件启动flume开发shell脚本定时追加文件内容两个agent级联需求分析：第一步：node02安装flume第二步：node02配置flume配置文件第三步：node02开...

原创 Flume简介及安装部署

在一个完整的离线大数据处理系统中，除了hdfs+mapreduce+hive组成分析系统的核心之外，还需要数据采集、结果数据导出、任务调度等不可或缺的辅助系统，而这些辅助工具在hadoop生态体系中都有便捷的开源框架，如图所示：概述Flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。Flume可以采集文件，socket数据包、文件、文件夹、kafka等各种形式源数据，...

原创 java.io.IOException: Illegal partition for 18271575951

出现原因:在进行分区的时候 , 执行代码 出现如下错误:java.lang.Exception: java.io.IOException: Illegal partition for 18271575951 (2)解决办法:

原创 Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.MoveTask. MetaException(message:E

在hive上传数据时 输入hive (db_emp)> load data local inpath ‘/opt/datas/emp.txt’ into table emp_part partition(date=‘2018120’);这个命令则会报出以下错误:hive (test)> load data local inpath ‘/tmp/hivedatas/score.cs...

原创 Column length too big for column 'PARAM_VALUE' (max = 21845)

Hive创建表时报错:错误代码如下:解决方案:这是mysql编码格式的问题,进入mysql,输入这三条命令:show variables like "char%";use hive;alter database hive character set latin1;修改前:修改后:...

原创 如何自定义InputFormat合并小文件

需求无论hdfs还是mapreduce，对于小文件都有损效率，实践中，又难免面临处理大量小文件的场景，此时，就需要有相应解决方案分析小文件的优化无非以下几种方式：1、在数据采集的时候，就将小文件或小批数据合成大文件再上传HDFS2、在业务处理之前，在HDFS上使用mapreduce程序对小文件进行合并3、在mapreduce处理时，可采用combineInputFormat提高效率实...

原创 MapReduce入门介绍及WordCount代码实现

文章目录1.MapReduce计算模型介绍1.1理解MapReduce思想1.2．Hadoop MapReduce设计构思1.3．MapReduce框架结构2．MapReduce编程规范及示例编写2.1．编程规范2.2．WordCount示例编写3．MapReduce程序运行模式3.1．本地运行模式3.2．集群运行1.MapReduce计算模型介绍1.1理解MapReduce思想MapRed...

原创 hadoop不生成tmp解决办法

解决办法:代码里加入: conf.set("hadoop.tmp.dir","自己的路径名")如:conf.set("hadoop.tmp.dir","E:\\tmp\\hadoop-abc");

原创 PriviledgedActionException as:root (auth:SIMPLE) cause:0: No such file or directory

刚学MapReduce.写WordCount的代码(代码没问题的情况下) , 运行后报错:错误代码19/11/12 07:57:19 INFO Configuration.deprecation: session.id is deprecated. Instead, use dfs.metrics.session-id19/11/12 07:57:19 INFO jvm.JvmMetric...

原创 HDFS新增节点与删除节点具体操作流程

服役新数据节点需求基础：随着公司业务的增长，数据量越来越大，原有的数据节点的容量已经不能满足存储数据的需求，需要在原有集群基础上动态添加新的数据节点。准备新节点第一步：复制一台新的虚拟机出来将我们纯净的虚拟机复制一台出来，作为我们新的节点 第二步：修改mac地址以及IP地址修改mac地址命令vim /etc/udev/rules.d/70-persistent-net.rules...

原创 HDFS的小文件合并成大文件

前提:在实际项目中，输入数据往往是由许多小文件组成，这里的小文件是指小于HDFS系统Block大小的文件（默认128M）， 然而每一个存储在HDFS中的文件、目录和块都映射为一个对象，存储在NameNode服务器内存中，通常占用150个字节。由于Hadoop擅长存储大文件，因为大文件的元数据信息比较少，如果Hadoop集群当中有大量的小文件，那么每个小文件都需要维护一份元数据信息，会大大的增加...

原创 refreshNodes: Call From X/IP to X:端口号 failed on connection exception:拒绝访问

问题描述增加新节点刷新时 , 在主节点 执行以下命令刷新namenodehdfs dfsadmin -refreshNodesRefresh nodes successful出现如下问题:[root@kk1 hadoop]# hdfs dfsadmin -refreshNodesrefreshNodes: Call From kk1/192.168.100.100 to kk1:802...

原创 Hadoop如何开启JobHistoryServer

进入Hadoop的sbin目录下，输入 :./mr-jobhistory-daemon.sh start historyserver再次输入JPS查看是否打开

原创 详解HDFS文件读写流程

文件写入过程详细步骤解析：client发起文件上传请求，通过RPC与NameNode建立通讯，NameNode检查目标文件是否已存在，父目录是否存在，返回是否可以上传client请求第一个block该传输到哪些DataNode服务器上NameNode根据配置文件中指定的备份数量及机架感知原理进行文件分配，返回可用的DataNode的地址如：A，B，C；client请求3台DataNo...

原创 HDFS基本介绍

HDFS基本介绍HDFS是 Hadoop Distribute File System 的简称，意为：Hadoop 分布式文件系统。是 Hadoop 核心组件之一，作为最底层的分布式存储服务而存在。分布式文件系统解决的问题就是大数据存储。 它们是横跨在多台计算机上的存储系统。分布式文件系统在大数据时代有着广泛的应用前景，它们为存储和处理超大规模数据提供所需的扩展能力。HDFS使用Mast...

原创 Linux安装Hadoop集群超详细教程

环境:CentOS6.9+hadoop-2.6.0安装环境服务部署规划注 : 代码已全部标注第一步：上传压缩包并解压将我们重新编译之后支持snappy压缩的Hadoop包上传到第一台服务器并解压(如果没有重新编译的文件可以去看我的上一篇文章:Linux中CDH版本Hadoop重新编译)第一台机器执行以下命令cd /export/softwares/mv hadoop-2.6.0-c...

原创 Linux中CDH版本Hadoop重新编译

为什么要编译Hadoop由于CDH的所有安装包版本都给出了对应的软件版本，一般情况下是不需要自己进行编译的，但是由于CDH给出的Hadoop的安装包没有提供带C程序访问的接口，所以我们在使用本地库（本地库可以用来做压缩，以及支持C程序等等）的时候就会出问题。由于后续需要使用snappy进行压缩数据，而CDH给出的Hadoop的安装包没有提供带C程序访问的接口，无法使用snappy，所以使用本地...

原创 大数据为什么那么快?

传统数据与大数据处理方式对比扩展性传统的是纵向扩展：服务器数量不发生变化，配置越来越高。大数据横向扩展：服务器数量越来越多，配置不发生变化。分布式传统的方式资源（CPU、内存、硬盘）集中大数据方式资源（CPU、内存、硬盘）分布（前提：同等配置的前提下）可用性传统数据备份方式为单份备份大数据数据备份方式为多分备份（数据复制，默认三个副本）模型传统的计算模型是移动数据到程序端大...

原创 Linux解决MySQL登录ERROR 1045 (28000): Access denied for user 'root'@'localhost' (using passwor)问题

问题描述:下载完mysql之后想要设置密码,输入/usr/bin/mysqladmin -u root -p '123456'之后出现了如下错误:解决方案:方式一:免密登录MySQL然后再次进入到终端当中，敲入 mysql -u root -p命令然后回车，当需要输入密码时，直接按enter键，便可以不用密码登录到数据库当中 , 如图所示 :输入:mysql>UPDATE my...

原创 Linux如何安装集群及细节操作

新增linux系统第一步: 克隆虚拟机第二步: 更改新增系统的mac地址vim /etc/udev/rules.d/70-persistent-net.rules第三步: 更改网卡信息 (setup)vim /etc/sysconfig/network-scripts/ifcfg-eth0第四步: 重启系统生效reboot三台机器 关闭防火墙内网环境 安全性比较高, 防火...

原创 Linux关于yum Error: Cannot retrieve repository metadata (repomd.xml) for repository:xxxxxx.

错误信息就是提示你:xxxxxx.repo这个文件有问题。解决办法如下:（1）打开/etc/yum.repos.d/xxxxxx.repo文件（2）enabled=1改成enabled=0

原创 Linux安装MySQL详细步骤

安装mysql1 yum安装原理：yum安装是通过执行yum命令，自动分析依赖关系, 自动下载, 自动安装2 yum安装优点：安装简单、快速3 缺点：由于不同的yum仓库只有特定的几个版本，所以可选的版本较少。4 yum安装实战下面看看如何在CentOS7系统上安装 MySQL5.6.441 查询系统自带的mysql[root@hadoop01 yu...

原创 Linux安装JDK的两种方式

安装jdk方式一：1 路径第一步: 卸载linux系统 提供的jdk第二步: 上传按照包到 /export/soft , 解压到 /export/install第三步: 将 jdk路径 放到 环境变量中第四步: 重新加载 环境变量的配置文件第五步: 测试是否安装成功2 实现第一步: 卸载linux系统 提供的jdk# 查询已安装的jdkrpm -qa...

原创 Linux如何设置ISO镜像重启不失效

在 /etc/fstab 里面修改sr0为：/dev/sr0（sr0地址） /mnt/cdrom （映射地址） iso9660（类型） defaults 0 0重新挂载全部：mount -a重启，df -h查询即可。

原创 Linux挂载新的硬盘

了解知识:一个硬盘可以分成多个分区用户不能直接操作硬件, 需要 让硬件和系统的目录 建立映射关系(挂载) 才可以操作, 称为 挂载查看系统分区挂载情况:命令英文含义lsblk -flist block devices查看所有设备的挂载情况-ffile system文件系统虚拟机 增加 硬盘:模拟将买的硬盘插入到 服务器中选中 目标虚拟...

原创 Linux管道相关命令简单总结

cutsortwcuniqteetrsplitawksed1.cut命令含义cut 动作 文件从指定文件 截取内容参数:-c characters 按字符选取内容例:截取出1.txt文件中前2行的第5个字符:head -2 1.txt | cut -c 5截取出1.txt文件中前2行以”:”进行分割的第1...