Millton0518的专栏

允许 8980 端口访问 sudo firewall-cmd --permanent --add-port=8980/tcp # 重新加载防火墙规则 sudo systemctl reload firewalld。文件中，每条记录都是一行，定义了一种连接类型、连接来源、目标数据库、用户和使用的认证方法。ident使用基于映射的系统用户身份进行认证（适用于某些类型的网络连接）。peer使用操作系统的用户身份进行认证（通常用于本地连接）。password要求输入密码，但是密码以明文形式发送。

在日常hive计算中，最常用的日期函数有5个：date_format：常用于处理月指标date_add或date_sub： 常用于处理日指标next_day：常用于处理周指标last_day：常用于处理月指标datediff：常用于处理日指标。

在数据应用场景中，ETL（Extract Transform Load）往往是打头阵的那个，毕竟源数据经过抽取和转换才能用于探索和分析，或者是供养给机器学习算法进行模型训练，从而挖掘出数据深层次的价值。我们今天要举的两个例子，都取自典型 ETL 端到端作业中常见的操作和计算任务。第一个例子很简单：给定数据条目，从中抽取特定字段。这样的数据处理需求在平时的 ETL 作业中相当普遍。想要实现这个需求，我们需要定义一个函数 extractFields：它的输入参数是 Seq[Row]类型，也即数据条目序列；输出结

文章目录准备一、编译flink二、制作Flink的parcel包和csd文件1. 下载制作脚本2 修改参数3 复制安装包4 编译parcel5 编译csd6 上传文件7 重启CDH server三、CDH集成1.打开CDH登录界面2 进入Parcel操作界面3 分配Parcel4 激活Parcel5 回主界面6.添加flink服务错误1错误2四、验证Flink服务错误3错误4准备版本：Centos7.6JDK1.8Scala2.11Python2.7Git1.8.3.1Apache Mav

乍一看编写 Spark 程序似乎很容易，如果了解数据的要求和足够的知识，那就是读取数据集、根据键进行连接、然后做一些转换，最后便准备好了一个交付的新数据集！如果您正在使用的数据非常小并且整个转换过程只需要几分钟，则可能会出现这种情况。然而从定义上看，Spark 具有高度可扩展性，当数据量越来越大时，事情可能会失控。相反如果转换可能需要数小时，而需要尝试尽可能缩短执行时间，则可以尝试扩展集群并为此支付更多费用，或者可以尝试优化代码。知道如何解决性能问题并能够优化 Spark 代码（或者只是让它运行得更快）是一

java.lang.IllegalArgumentException: System memory 259522560 must be at least 471859200. Please increase heap size using the --driver-memory option or spark.driver.memory in Spark configuration. at org.apache.spark.memory.UnifiedMemoryManager$.getMaxMem...

现象：无法新建工程解决方案：查看日志help->show Log in ExploerKotlin插件加载异常造成无法创建项目快速解决问题，直接禁用掉Kotlin插件即可

为mysql创建新用户后，使用root用户登录，进行授权，发现以下错误：翻阅了很多csdn文章，瞎掰的太多了。mysql> grant all on performance_schema.* to 'testuser'@'%';ERROR 1044 (42000): Access denied for user 'root'@'localhost' to database 'performance_schema'mysql> grant all on infor...

登录mysql ，执行以下语句update mysql.user set authentication_string=PASSWORD("密码") where user='root';update mysql.user set plugin="mysql_native_password";flush privileges;quit;重启mysql服务service mysql restart;或者/etc/init.d/mysql restart...

主要记录下apache phoenix修改表字段的一种变通方式,仅供参考 CREATE TABLE IF NOT EXISTS t_appversion ( f_region_id VARCHAR, f_province_id VARCHAR, f_province_name VARCHAR, f_terminal INTEGER , f_phone_model ...

今天使用pip下载scrapy 巨慢,查了下资料,可以指定源加速下载pip install -i 第三方源 软件包名下载scrapy pip install -i https://pypi.tuna.tsinghua.edu.cn/simple scrapy常用国内源清华：https://pypi.tuna.tsinghua.edu.cn/simple中国科...

总是忘记命令,做个笔记centos 安装rzszyum -y install lrzsz

删除所有/etc/yum.repo.d/目录下所有repo文件，重新更换一遍源解决更换其他源参考https://mp.csdn.net/postedit/44259343

概述Spark Streaming 支持多种实时输入源数据的读取，其中包括Kafka、flume、socket流等等。除了Kafka以外的实时输入源，由于我们的业务场景没有涉及，在此将不会讨论。本篇文章主要着眼于我们目前的业务场景，只关注Spark Streaming读取Kafka数据的方式。 Spark Streaming 官方提供了两种方式读取Kafka数据：一是Receiver-ba...

使用spark-sql连接hive 数据源 总会出现derby.log 文件，挺碍眼的。查了下资料 在$SPARK_HOME/conf/spark-defaults.conf 添加一下配置即可spark.driver.extraJavaOptions -Dderby.system.home=/tmp/derby整个世界都清净了。...

什么是文件压缩？一个较大的文件经压缩后，产生了另一个较小容量的文件。而这个较小容量的文件，我们就叫它是这些较大容量的（可能一个或一个以上的文件）的压缩文件。而压缩此文件的过程称为文件压缩。MapReduce 为什么需要文件压缩？Hadoop 之所以需要进行文件压缩，是因为使用文件压缩可以减少文件存储所需要的空间，加快数据在网络和磁盘上的传输。处理大文件时...

最近生产环境出现了一个错误，spark无法写入数据的到hive报以下错误Caused by: org.apache.hadoop.hive.ql.metadata.HiveException: Invalid partition for table orc_report_behavior at org.apache.hadoop.hive.ql.metadata.Partition.in...

本文是我在使用Hbase的过程碰到的一些问题和相应的解决方法，现将这些经过总结分析，以免日后忘记。hadoop新增节点hadoop集群要增加3个节点。在3台主机分别配置了host、与集群内所有机器的ssh登录互信、jdk1.7 等。所有配置、目录等与集群其他机器保持一致。把安装文件拷贝到3台主机后，同时将修改后的配置文件分发到三台主机相应目录中。修改namenode的slaves文件，增加...

TCP状态转移要点TCP协议规定，对于已经建立的连接，网络双方要进行四次握手才能成功断开连接，如果缺少了其中某个步骤，将会使连接处于假死状态，连接本身占用的资源不 会被释放。网络服务器程序要同时管理大量连接，所以很有必要保证无用连接完全断开，否则大量僵死的连接会浪费许多服务器资源。在众多TCP状态中，最值得 注意的状态有两个：CLOSE_WAIT和TIME_WAIT。  1、LISTENING状态...

1：当前HDFS架构详尽分析分享之前我还是要推荐下我自己创建的大数据学习资料分享群 232840209，这是全国最大的大数据学习交流的地方，2000人聚集，不管你是小白还是大牛，小编我都挺欢迎，今天的源码已经上传到群文件，不定期分享干货，包括我自己整理的一份最新的适合2017年学习的前端资料和零基础入门教程，欢迎初学和进阶中的小伙伴。HDFS架构•NameNode•Da