<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[MrGrant.blog]]></title><description><![CDATA[翻不了身的菜鸡]]></description><link>https://blog.csdn.net/yangang1223</link><language>zh-cn</language><generator>https://blog.csdn.net/</generator><copyright><![CDATA[Copyright &copy; yangang1223]]></copyright><item><title><![CDATA[CDH6.3修改主机IP]]></title><link>https://blog.csdn.net/yangang1223/article/details/106701213</link><guid>https://blog.csdn.net/yangang1223/article/details/106701213</guid><author>yangang1223</author><pubDate>Fri, 12 Jun 2020 01:08:40 +0800</pubDate><description><![CDATA[这里写自定义目录标题修改ip停服务进入mysql修改元数据ip修改各主机的ip（分别修改各主机的ip）修改所有hadoop集群机器中的cloudera-scm-agent的配置文件重启服务
修改ip
开始是在公司使用桥接模式，回到家使用无线网段变了，遂改掉IP,CDH中还是配置的原来的IP，需要改掉
停服务
[root@node01 ~]# service cloudera-scm-agent stop
[root@node01 ~]# service cloudera-scm-server stop

进]]></description><category></category></item><item><title><![CDATA[hive加载数据权限报错]]></title><link>https://blog.csdn.net/yangang1223/article/details/106643570</link><guid>https://blog.csdn.net/yangang1223/article/details/106643570</guid><author>yangang1223</author><pubDate>Tue, 09 Jun 2020 15:38:41 +0800</pubDate><description><![CDATA[前提：
上传数据至hdfs 的/user/root/下，创建了hive的orc表，准备load数据，创建了临时的ordertmp的textfile格式表，后面用insert overwrite进目标表。
执行load data 从/user/root/下加载数据到hive表中，报下面的权限错误。
0: jdbc:hive2://node01:10000&gt; load data inpath '/user/root/order/order.txt' into table ordertmp;

INFO  ]]></description><category></category></item><item><title><![CDATA[检查HDFS块状态]]></title><link>https://blog.csdn.net/yangang1223/article/details/105832115</link><guid>https://blog.csdn.net/yangang1223/article/details/105832115</guid><author>yangang1223</author><pubDate>Wed, 29 Apr 2020 09:29:08 +0800</pubDate><description><![CDATA[hadoop集群运行过程中，节点的块状态或者上下线节点时集群都会受影响。
如何查看当前的hdfs的块的状态
hadoop1.x时候的命令，hadoop2.x也可使用：
hadoop fsck /

在hadoop2.0之后，可以使用新命令：
hdfs fsck /

[root@node01 ~]# su hdfs -c "hadoop fsck /"
WARNING: Use of this s...]]></description><category></category></item><item><title><![CDATA[SparkStreaming控制消费速率（反压机制）]]></title><link>https://blog.csdn.net/yangang1223/article/details/105813859</link><guid>https://blog.csdn.net/yangang1223/article/details/105813859</guid><author>yangang1223</author><pubDate>Tue, 28 Apr 2020 15:03:25 +0800</pubDate><description><![CDATA[反压机制：
spark1.5以后，通过动态收集系统的一些数据来自动的适配集群数据处理能力
在默认情况下，Spark Streaming 通过 receivers (或者是 Direct 方式) 以生产者生产数据的速率接收数据。当 batch processing time &gt; batch interval 的时候，也就是每个批次数据处理的时间要比 Spark Streaming 批处理间隔时...]]></description><category></category></item><item><title><![CDATA[Spark Streaming性能优化: 如何在生成环境下应对流数据峰值巨变]]></title><link>https://blog.csdn.net/yangang1223/article/details/105812234</link><guid>https://blog.csdn.net/yangang1223/article/details/105812234</guid><author>yangang1223</author><pubDate>Tue, 28 Apr 2020 14:15:30 +0800</pubDate><description><![CDATA[1、为什么引入Backpressure
默认情况下，Spark Streaming通过Receiver以生产者生产数据的速率接收数据，计算过程中会出现batch processing time &gt; batch interval的情况，其中batch processing time 为实际计算一个批次花费时间， batch interval为Streaming应用设置的批处理间隔。这意味着Sp...]]></description><category></category></item><item><title><![CDATA[SQL中的case when 和 decode]]></title><link>https://blog.csdn.net/yangang1223/article/details/105812050</link><guid>https://blog.csdn.net/yangang1223/article/details/105812050</guid><author>yangang1223</author><pubDate>Tue, 28 Apr 2020 13:54:05 +0800</pubDate><description><![CDATA[case when 和 decode（oracle独有）
两者都可以作为条件判断
同一个需求：
select id,decode(kurst,'中间价','中','平均汇率','平') KURST from EX_RATE_CONFIG;


select id,CASE WHEN kurst = '中间价' then '中' WHEN kurst = '平均汇率' then '平' END AS...]]></description><category></category></item><item><title><![CDATA[sed和awk的用法]]></title><link>https://blog.csdn.net/yangang1223/article/details/105807357</link><guid>https://blog.csdn.net/yangang1223/article/details/105807357</guid><author>yangang1223</author><pubDate>Tue, 28 Apr 2020 10:31:32 +0800</pubDate><description><![CDATA[sed和awk用法
Sed
sed是一个很好的文件处理工具，本身是一个管道命令，主要是以行为单位进行处理，可以将数据行进行替换、删除、新增、选取等特定工作，下面先了解一下sed的用法
sed命令行格式为：
sed [-nefri] ‘command’ 输入文本        


常用选项：
-n∶使用安静(silent)模式。在一般 sed 的用法中，所有来自 STDIN的资料一般都会被列出到萤...]]></description><category></category></item><item><title><![CDATA[UserBehavior用户行为分析]]></title><link>https://blog.csdn.net/yangang1223/article/details/105765019</link><guid>https://blog.csdn.net/yangang1223/article/details/105765019</guid><author>yangang1223</author><pubDate>Mon, 27 Apr 2020 13:55:59 +0800</pubDate><description><![CDATA[1、数据来源
阿里云天池： https://tianchi.aliyun.com/dataset/dataDetail?dataId=649
本数据集包含了2017年11月25日至2017年12月3日之间，约有一百万随机用户的所有行为（行为包括点击、购买、加购、喜欢）。数据集的每一行表示一条用户行为，由用户ID、商品ID、商品类目ID、行为类型和时间戳组成，并以逗号分隔。
时间跨度约为一个礼拜，从...]]></description><category></category></item><item><title><![CDATA[hive时间字段处理详情]]></title><link>https://blog.csdn.net/yangang1223/article/details/105764817</link><guid>https://blog.csdn.net/yangang1223/article/details/105764817</guid><author>yangang1223</author><pubDate>Sun, 26 Apr 2020 11:13:31 +0800</pubDate><description><![CDATA[hive时间字段处理详情

转载自：https://blog.csdn.net/jsbylibo/article/details/83093292


]]></description><category></category></item><item><title><![CDATA[cm管理hadoop集群hdfs切换用户]]></title><link>https://blog.csdn.net/yangang1223/article/details/105725883</link><guid>https://blog.csdn.net/yangang1223/article/details/105725883</guid><author>yangang1223</author><pubDate>Fri, 24 Apr 2020 11:12:45 +0800</pubDate><description><![CDATA[使用CDH和CM管理hadoop集群切换用户
CDH和CM管理hadoop集群后，创建很多用户hdfs、hive、hue等等，上传文件到hdfs发现登陆不了hdfs用户。
[root@node01 localData]# su - hdfs
This account is currently not available.

查看hdfs的帐号信息
[root@node01 localData]# ...]]></description><category></category></item><item><title><![CDATA[CDH6.3配置安装实操]]></title><link>https://blog.csdn.net/yangang1223/article/details/105412103</link><guid>https://blog.csdn.net/yangang1223/article/details/105412103</guid><author>yangang1223</author><pubDate>Wed, 22 Apr 2020 16:04:04 +0800</pubDate><description><![CDATA[环境要求
Redhat7.4安装CDH6.3。CDH6与CDH5的安装步骤一致，主要包括以下四部分：

1.安全前置准备，包括安装操作系统、关闭防火墙、同步服务器时钟等；
2.外部数据库如MySQL安装
3.安装Cloudera Manager；
4.安装CDH集群；
请务必注意CDH6的安装前置条件包括如下： 外部数据库支持： MySQL 5.7或更高 MariaDB 5.5或更高 Postgr...]]></description><category></category></item><item><title><![CDATA[Centos7安装配置实操]]></title><link>https://blog.csdn.net/yangang1223/article/details/105379976</link><guid>https://blog.csdn.net/yangang1223/article/details/105379976</guid><author>yangang1223</author><pubDate>Wed, 08 Apr 2020 16:13:06 +0800</pubDate><description><![CDATA[之前由于centos7不太稳定，一直使用centos6.5，现在各服务器生产环境已经正式使用7，所以自己手动实践下。
下载
去官网或国内镜像站下载centos7镜像：
此版本CentOS-7-x86_64-DVD-1908.iso
安装
选择桥接或NAT模式
将复制物理网络状态打上勾
官网解释：

您可以为现有虚拟机配置桥接模式网络连接。
要为新虚拟机配置桥接模式网络连接，请在运行新建虚拟机向导时...]]></description><category></category></item><item><title><![CDATA[Springboot配置文件放在jar外部]]></title><link>https://blog.csdn.net/yangang1223/article/details/105356888</link><guid>https://blog.csdn.net/yangang1223/article/details/105356888</guid><author>yangang1223</author><pubDate>Tue, 07 Apr 2020 09:06:07 +0800</pubDate><description><![CDATA[这里Springboot配置文件放在jar外部引言通过命令行指定外置配置文件自定义配置文件或者
引言
Spring Boot程序默认从application.properties或者application.yaml读取配置，如何将配置信息外置，方便配置呢？
查询官网，可以得到下面的几种方案:
通过命令行指定
SpringApplication会默认将命令行选项参数转换为配置信息
例如，启动时命令参...]]></description><category></category></item><item><title><![CDATA[oracle之with as 使用]]></title><link>https://blog.csdn.net/yangang1223/article/details/103985893</link><guid>https://blog.csdn.net/yangang1223/article/details/103985893</guid><author>yangang1223</author><pubDate>Wed, 15 Jan 2020 13:52:31 +0800</pubDate><description><![CDATA[项目中一个聚合查询，真正进行查询之前预先构造了一个临时表，之后便可多次使用它做进一步的分析和处理

WITH Clause方法的优点
增加了SQL的易读性，如果构造了多个子查询，结构会更清晰；更重要的是：“一次分析，多次使用”，这也是为什么会提供性能的地方，达到了“少读”的目标。
WITH p_sum AS (
	SELECT
		report_type,
		'xx' T,
		self_ag...]]></description><category></category></item><item><title><![CDATA[Oracle中日期格式转化之dd-M月-yyyy转为yyyyMMdd]]></title><link>https://blog.csdn.net/yangang1223/article/details/103985576</link><guid>https://blog.csdn.net/yangang1223/article/details/103985576</guid><author>yangang1223</author><pubDate>Wed, 15 Jan 2020 11:21:23 +0800</pubDate><description><![CDATA[Oracle中日期格式转化之dd-M月-yyyy转为yyyyMMdd问题:解决办法
问题:
项目中遇到某张表的日期字段来自邮件解析入库，而表的日期字段又建的是nvarchar2类型，遂查询出的日期字段全是dd-M月-yyyy格式，对日期排序等操作非常不友好，需要转换乘yyyyMMdd

解决办法
后半段借鉴网友出的同样问题，月份数字是动态的，需要case when判断转化。
SELECT
	CAS...]]></description><category></category></item><item><title><![CDATA[SQL执行效率注意]]></title><link>https://blog.csdn.net/yangang1223/article/details/103732283</link><guid>https://blog.csdn.net/yangang1223/article/details/103732283</guid><author>yangang1223</author><pubDate>Tue, 07 Jan 2020 16:02:53 +0800</pubDate><description><![CDATA[**
SQL提高查询效率
**
1.对查询进行优化，应尽量避免全表扫描，首先应考虑在 where 及 order by 涉及的列上建立索引。
2.应尽量避免在 where 子句中对字段进行 null 值判断，否则将导致引擎放弃使用索引而进行全表扫描，如：
select id from t where num is null 

可以在num上设置默认值0，确保表中num列没有null值，然后这样查...]]></description><category></category></item><item><title><![CDATA[HIVE、Oracle种row_number开窗函数去重、分组排序]]></title><link>https://blog.csdn.net/yangang1223/article/details/100921033</link><guid>https://blog.csdn.net/yangang1223/article/details/100921033</guid><author>yangang1223</author><pubDate>Wed, 11 Dec 2019 12:02:41 +0800</pubDate><description><![CDATA[版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wiborgite/article/details/80521593
ROW_NUMBER() OVER函数的基本用法
语法：ROW_NUMBER() OVER(PARTITION BY COLUMNORDER BY COLUMN)
详解：...]]></description><category></category></item><item><title><![CDATA[归并排序理解及实现]]></title><link>https://blog.csdn.net/yangang1223/article/details/103270893</link><guid>https://blog.csdn.net/yangang1223/article/details/103270893</guid><author>yangang1223</author><pubDate>Wed, 11 Dec 2019 11:54:44 +0800</pubDate><description><![CDATA[一、归并排序理解
归并排序非常重要，在计算机科学中，归并排序是一种高效、通用、基于比较的排序算法。此外，归并排序还是稳定的，因为相同元素的相对次序在排序后不会发生变化。大概有两个步骤：
1、将待排序的线性表不断地切分成若干个子表，直到每个子表只包含一个元素，这时，可以认为只包含一个元素的子表是有序表。
2、将子表两两合并，每合并一次，就会产生一个新的且更长的有序表，重复这一步骤，直到最后只剩下一个...]]></description><category></category></item><item><title><![CDATA[JAVA中静态变量及类加载顺序]]></title><link>https://blog.csdn.net/yangang1223/article/details/103345787</link><guid>https://blog.csdn.net/yangang1223/article/details/103345787</guid><author>yangang1223</author><pubDate>Mon, 02 Dec 2019 11:38:19 +0800</pubDate><description><![CDATA[1、静态变量、非静态变量的区别
①java类的成员变量有俩种：
 一种是被static关键字修饰的变量，叫类变量或者静态变量
 另一种没有static修饰，为成员变量

通俗点说：
类的静态变量在内存中只有一个，java虚拟机在加载类的过程中为静态变量分配内存，静态变量位于方法区，被类的所有实例共享。静态变量可以直接通过类名进行访问，其生命周期取决于类的生命周期。
而实例变量取决于类的实例。每创建...]]></description><category></category></item><item><title><![CDATA[oracle中根据不同条件修改一个字段值]]></title><link>https://blog.csdn.net/yangang1223/article/details/103313356</link><guid>https://blog.csdn.net/yangang1223/article/details/103313356</guid><author>yangang1223</author><pubDate>Fri, 29 Nov 2019 16:28:02 +0800</pubDate><description><![CDATA[需求：项目中有个需求，报表中用户的数据中 有系统内或系统外，但真实数据有国外分公司填入的是英文，External和Internal，真正汇总分组时会将这个字段分成好几组，有问题，所以在汇总逻辑之前update掉：
解决：当然还是用case when ，但一定跟select语句中的case when区别开来。
UPDATE DWD_XXX_XXX_XXXX
SET SYSTEM_INOUTSIDE ...]]></description><category></category></item></channel></rss>