2020年09月_九万里大数据

原创 Centos7.6配置IP重启网卡报错Failed to start LSB: Bring up/down networking

Sep 24 13:54:48 localhost.localdomainNetworkManager[4451]: <info>[1600926888.0948] audit: op="connection-activate" uuid="5fb06bd0-0bb0-7ffb-45f1-d6edd65f3e03"name="eth0" result="fail" reason="No suitable devicefound for this con..

2020-09-24 14:58:22 1329 1

原创 HUE的security browser显示There are currently no roles defined

如图，Roles页面显示There are currently no roles defined但是在Browser选项页是有roles的从后台HTTP请求来看，list_sentry_privileges_by_authorizable接口是有数据欢迎关注微信公众号九万里大数据。而list_sentry_roles_by_group接口没有数据解决办法是将当前用户拉入sentry的admin组，比如hive组，...

2020-09-23 09:15:38 580

原创产品原型设计：使用axure动态面板实现窗口切换

网站或者app都有窗口切换的场景，比如登录页，选项页等。比如，以下是淘宝的登录页，有两种窗口状态可以切换，密码登录和短信登录。关注微信公众号九万里大数据，观看视频效果。在原型设计时，可以使用动态面板，实现这种窗口切换效果。动态面板，可以理解为一个窗口容器，把外框相同的窗口都装在这同一个容器里面，并可以实现窗口之间的状态切换。欢迎关注微信公众号九万里大数据。欢迎关注微信公众号九万里大数据。使用动态面板实现窗口切换的具体操作演示关注微信公众号九万里大数据，观...

2020-09-22 14:54:45 1616

原创产品原型设计：使用axure实现菜单下拉效果

在我们使用的网页菜单上，经常遇到以下这种下拉菜单，其特点是把同一类型的功能子项，下设在一个统一的功能父项下面。通过鼠标点击父项，会折叠或显示子项。对于产品经理或者交互设计师而言，往往需要在产品原型设计中体现这种效果，下面通过axure来实现。

2020-09-22 14:44:04 1711 1

原创 Hive3新特性（二）

欢迎关注微信公众号九万里大数据。目录执行引擎LLAP负载管理统一查询接口JDBC ConnectorKafka Connector 执行引擎欢迎关注微信公众号九万里大数据。在Hive3中，Tez完全取代了MapReduce，这张图显示了Hive3的查询流程。 Hive编译查询语句 Tez执行查询 YARN分配资源 Hive更新HDFS上的数据 Hive返回查询结果给JDBC连接 LLAP负载管理 ...

2020-09-22 14:14:21 1847 1

原创 Hive3新特性（一）

欢迎关注微信公众号九万里大数据。目录Hive ACID v21.创建ACID事务表2.支持合并3.ACID工具SQL兼容性约束和代理键物化视图 Hive ACID v2 Hive3的ACID v2相比Hive2的ACID v1，对很多事务的特性进行了优化升级，使之更接近于关系型数据库。使用ACID语义修改现有Hive表数据，包括insert, update, delete, merge支持数据库四大特性, Atomicity, Consistency,.

2020-09-22 14:07:44 3810 1

原创 Hive表的导出与导入

对于需要跨集群迁移Hive表的，只需要迁移表结构的，可以采取从原始集群导出Hive表结构，然后在新集群导入Hive表结构，实现Hive元数据的迁移。欢迎关注微信公众号九万里大数据。目录导出所有的hive库导出库的所有hive表导出所有hive表的建表语句处理一下导出的建表语句，比如去掉一些表路径信息等导入hive表导出所有的hive库#!/bin/bash# 1-export_database.shdir="output/database"if [ ! -d

2020-09-22 14:00:21 952 1

原创 Kafka优先副本选举

欢迎关注微信公众号九万里大数据。之前的文章讲述了Kafka的分区重分配。这里讲述Kafka的优先副本选举方法，该办法可用于机器上副本的负载均衡，避免个别broker机器上leader副本过多导致数据写入压力过大。首先，查看topic的partition分布情况/opt/cloudera/parcels/KAFKA/lib/kafka/bin/kafka-topics.sh --zookeeper zk1:2181 --topic topic_replica_test --describe.

2020-09-22 13:53:01 930 1

原创增加(或减少)Kafka topic的副本数

之前的文章讲述了Kafka的分区重分配，该方法同样可以用来增加或减少Kafka topic的副本数。该方法，可灵活地运用于提高topic的高可用性，提高数据的读写等场景。目录从一个副本数，增加到2个副本数。再增加一个副本，达到3个副本数从一个副本数，增加到2个副本数。创建reassign.json文件{"version":1,"partitions":[{"topic":"topic_replica_test","partition":0,"replicas":[164.

2020-09-22 13:48:19 3836 1

原创修复HUE任意LDAP用户登录为超级管理员的bug

欢迎关注微信公众号九万里大数据。目录背景说明修复方法源码分析结合数据库分析背景说明 CDH6.0.1自带的HUE版本是4.2 HUE4.2和HUE4.3在使用LdapBackend时有个bug，会导致任意的LDAP用户登录，都是超级管理员。在HUE4.4版本修复了这个bug。https://issues.cloudera.org/browse/HUE-8675https://review.cloudera.org/r/13556/欢..

2020-09-22 12:24:42 616 1

原创 Kafka的分区重分配

Kafka的分区重分配，可用于broker机器下线前的数据搬迁，topic的副本数增大或减小等。生成Kafka分区重分配方案首先，查看当前topic的partition分布情况kafka-topics --zookeeper zk1:2181 --topic topic_replica_test --describe假定下面我们想将该topic的partition从broker id为164,165的brokers上移走。创建topic-reassign.json文件，内容为.

2020-09-21 21:48:29 1707 1

data2tech的博客