Michael312917-CSDN博客

原创 Kafka命令行操作及清理Kafka中的所有Topic

1 删除集群中的logs目录中的所有文件首先停止Kafka集群然后删除logs目录中的所有文件cd /opt/module/kafka/logsrm -rf *2 登录ZK删除除zookeeper之外的其他所有节点bin/zkCli.sh -server hadoop101:2181ls /deleteall /admindeleteall /brokersdeleteall /clusterdeleteall /configdeleteall /consumersdele

2020-11-30 11:39:38 1465

原创 Hive系统函数

系统函数（ concat 、concat_ws 、collect_set 、STR_TO_MAP）1）concat 函数concat 函数在连接字符串的时候，只要其中一个是 NULL，那么将返回 NULLhive> select concat('a','b');abhive> select concat('a','b',null);NULL2）concat_ws 函数concat_ws函数在连接字符串的时候，只要有一个字符串不是NULL，就不会返回NULL。concat_ws

2020-11-22 15:19:06 531

原创 Hive On Spark 调优

1 Hive整体调优mapreduce.input.fileinputformat.split.maxsize=750000000hive.cbo.enable=true 默认falsehive.orc.splits.include.file.footer=falsehive.merge.sparkfiles=false 默认truehive.merge.orcfile.stripe.level=truehive.auto.convert.join.noconditionaltask=true

2020-11-22 15:18:17 1044

原创 CDH6.x HiveServer2 HA配置

1 CDH6.X HiveServer2 HA官方文档1.1 修改代理token的存储实现类修改为org.apache.hadoop.hive.thrift.DBTokenStore1.2 增加HiveServer2 实例1.3 在配置中搜索到 hive-site.xml 的 HiveServer2 高级配置代码段（安全阀）配置如下两项<property><name&gt

2020-11-22 00:14:25 1839 1

原创 Sqoop导入SQLServer业务数据

1 Sqoop1.1 使用 import-all-tables将SqlServer的历史数据全量同步到HDFS/usr/bin/sqoop import-all-tables \--connect "jdbc:sqlserver://sqlserver的ip:1433;database=数据库名称" \--username '用户名' \--password '面膜' \--warehouse-dir "目录" \--autoreset-to-one-mapper --m 1 \--exc

2020-11-17 20:16:08 1641 1

原创 Sqoop 导入SQlServer数据时报错

1 Sqoop将业务数据SQLServer数据导入到HDFS时，出现如下错误Container [pid=19170,containerID=container_e43_1604046194386_1457_01_000004] is running 802816B beyond the ‘PHYSICAL’ memory limit. Current usage: 1.0 GB of 1 GB physical memory used; 2.5 GB of 2.1 GB virtual memory u

2020-11-17 20:13:32 586

原创运行HQL时，报错：Container killed by YARN for exceeding memory limits

1 出现问题现象搭建Hive On Spark 模式，运行HQL时：出现如下错误：ExecutorLostFailure (executor 4 exited caused by one of the running tasks) Reason: Container killed by YARN for exceeding memory limits. 4.5 GB of 4.5 GB physical memory used. Consider boosting spark.yarn.executor

2020-11-17 20:08:42 1385

原创 HiveServer2经常异常退出，导致连接失败

1 问题描述在项目中搭建Hive On Spark，在执行查询的数据量比较大时或者查询出来的数据再次插入到DWD层时，经常性的报如下两个错误：1 ERROR org.apache.parquet.hadoop.ParquetRecordReader: [aafa2e51-4efa-4437-9b07-86b8d55570f0 HiveServer2-Handler-Pool: Thread-47]: Can not initialize counter due to context is not a

2020-11-17 19:33:34 3761

原创 CDH6.2.1 HiveOnSpark 报错问题解决

1 CDH6.2.1 HiveOnSpark 报错解决错误1：FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. MetaException(message:Got exception: org.apache.hadoop.ipc.RemoteException Operation category READ is not supported in state standby. Visi

2020-11-17 19:32:00 2104 2

原创 EZDML工具

1 新建模型2 命名模型3 点击图标，选中模型4 导入数据库5 配置数据库连接6 选择要导入的表7 建立表关系第一步：点击选中主表(主键所在的表)第二步：点击连接按钮第三步：点击从表，配置连接条件第四步：效果展示...

2020-11-04 21:52:24 515

原创 Hadoop 支持LZO和Snappy

步骤如下：1 安装maven依赖wget http://mirrors.hust.edu.cn/apache/maven/maven-3/3.1.1/binaries/apache-maven-3.1.1-bin.tar.gztar -zxvf apache-maven-3.1.1-bin.tar.gzvim apache-maven-3.1.1/conf/settings.xml添加加阿里云仓库  <mirror>

2020-11-04 21:49:34 379

原创大数据之Phoenix和Squirrel

apache-phoenix-5.0.0-HBase-2.0安装与简单使用HBase版本：hbase-2.0.5官网地址：https://hbase.apache.org/Phoenix版本：phoenix-5.0.0-HBase-2.0Phoenix官网地址：http://phoenix.apache.org/download.htmlPhoenix安装文档:http://phoenix.apache.org/installation.html注意：hbase的版本一定要与phoenix的版本

2020-10-26 16:09:51 1074 1

原创 java 奇偶数顺序打印和猜数字游戏

java多线程–奇偶数顺序打印Lock和Synchronized之间的区别synchronized 属于关键字针对同步代码块而言，它的底层是通过moniter对象的moniterenter和moniterexit来实现加锁和解锁；每个对象都有一个监视器monitor，当monitor被占用时就处于加锁状态，线程在执行monitorenter指令时就会尝试去获取monitor的执行权。 ...

2020-04-25 20:17:14 637

原创 android8.0 对于外置SDCARD的访问(MTK 平台)

在android6.0 以上如果想访问外置SDCARD，需要再申请如下权限：<uses-permission android:name="android.permission.WRITE_MEDIA_STORAGE" />该权限在frameworks/base/data/etc/platform.xml 定义如下： <permission name="andro...

2018-12-28 15:01:39 2624

原创 Settings 默认值方面修改简介

Setttings 默认开关的状态代码路径：frameworks\base\packages\SettingsProvider\res\values\defaults.xml 默认屏幕亮度 <integer name="def_screen_brightness">100</integer>自动亮度调节开关 <bool name="...

2018-09-07 11:57:18 1214

原创 Android 7.0 状态栏显示运营商名称

1 在mobile_signal_group布局中增加<TextViewandroid:id="@+id/carrier_text"android:layout_width="wrap_content"android:layout_height="wrap_content"android:layout_marginStart="@dimen/keyguard_carri...

2018-08-10 17:45:45 3692

原创 Android 8.1 (O)信号强度介绍和定制（二）

3 信号格的获取MobileSignalController @Override public int getCurrentIconId() { if (mCurrentState.iconGroup == TelephonyIcons.CARRIER_NETWORK_CHANGE) { return SignalDrawable...

2018-08-10 16:58:04 1446

原创 Android 8.1 (O)信号强度介绍和定制

0 在Android中对移动数据操作的几个类和接口如下：1 TelephonyManager 类主要提供了一系列用于访问与手机通讯相关的状态和信息的get方法。其中包括手机SIM的状态和信息、电信网络的状态及手机用户的信息，在应用程序中可以使用这些get方法获取相关数据 TelephonyManager类的对象可以通过...

2018-08-10 16:51:36 4547

原创 Android 8.1(O) Launcher3相关修改(二)

1 hotseat位置：O版本有五个图标，Go版本有四个图标，它们之间的差别在哪？在InvariantDeviceProfile文件如下函数中 ArrayList<InvariantDeviceProfile> getPredefinedDeviceProfiles(Context context) { ArrayList<InvariantDevi...

2018-08-10 11:27:42 1947

原创 Android 8.1 (O) Launcher3 方面修改

1 修改主界面 pageindicator、workspace、hotseat方面的调整主要是在packages/apps/Launcher3/src/com/android/launcher3/DeviceProfile.java 如下函数中进行调整 public void layout(Launcher launcher, boolean notifyListeners)...

2018-08-10 10:52:45 3470

原创 android M(6.0) Settigs模块源码分析

博客参考链接：Android5.0 Settings各个子模块跳转和布局实现 android Settings 添加新菜单项参考链接：Settings源码6.0 7.0添加新菜单选项 Settings继承自SettingsActivity，该类除了实现的空内部类外，就是一个判断Fragment是否有效的方法。实现的空内部类作用：在加载类设置项时不适用SubSettings，当创建快捷方

2018-01-07 14:18:56 627

原创 Android7.0(N)打开第三方app时StatusBar（状态栏）颜色变化流程浅析

简介：当打开第三方App时，一般都是铺满整个屏幕，从而使得状态栏颜色发生变化，本文简单的分析下SystemUI方面StatusBar的Icon图标的颜色变化流程本文从CommandQueue类开始分析，源码位于frameworks\base\packages\SystemUI\src\com\android\systemui\statusbar\CommandQueue.java

2017-10-20 09:58:14 1492

原创 android7.0 电源(Power)键流程

本文主要是从源码的角度，分析android 电源键(Power)的处理流程，顺便分析了长按Power键弹出选项的流程

2017-09-25 21:25:50 6026 1

原创 android 锁屏界面--屏蔽音量键，达到安全音量时不点击确定后，音量键无效

如何实现在锁屏界面对音量键的屏蔽以及在达到安全音量时，不点击确定则音量up键无效

2017-09-18 20:40:43 4875

原创 android 低电时震动

现象描述：低电量时需要震动，以提示用户进入低电模式当电池电量低于15%时，在状态栏点击信息，会出现如下图片！那么点击"开启"按钮，如何震动来提示用户呢？通过搜索关键字，可以看到最终会走到PowerNotificationWarnings.java中，该源码位于frameworks\base\packages\SystemUI\src\com\android\systemui

2017-09-18 11:33:49 790