weixin_46787788的博客

如果a为十进制数178，则~a为十进制数-179;在Python中只有while语句，没有do-while语句。本节先介绍break和continue语句，对于return语句，将在后面的章节中介绍。用于结束本次循环，跳过循环体中尚未执行的语句，接着进行终止条件的判断，以决定是否继续循环。用于比较两个表达式的大小，其结果是布尔类型的数据，即True或False。在循环体正常结束时会执行else语句，如果发生中断，则不运行else语句。：+（正号）和-（负号），例如：+a还是a，-a是对a的取反运算。

高级语言：Python Java PHP C# Go Ruby C++ ... => 字节码低级语言：C 汇编 => 机器码PHP类：适用于写网页吗，局限性。Python Java：既可以写网页，也可以写后台功能。— Python 执行效率低，开发效率高。

大数据技术之Hadoop（HDFS）

第1章 Shell概述Linux与shell的关系Shell 中文意思贝壳，寓意类似内核的壳。Shell是指一种应用程序，这个应用程序提供了一个界面，用户通过这个界面访问操作系统内核的服务。Shell 是一个用 C 语言编写的程序，它是用户使用 Linux 的桥梁。Shell 既是一种命令语言，又是一种程序设计语言。Shell 脚本（shell script）是一种为 shell 编写的脚本程序。常说的shell通常都是指 shell 脚本，但shell和shell script是两个不同的概念。通常

第1章 Sqoop简介Sqoop是一款开源的工具，主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql…)间进行数据的传递，可以将一个关系型数据库（例如 ： MySQL ,Oracle ,Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。Sqoop项目开始于2009年，最早是作为Hadoop的一个第三方模块存在，后来为了让使用者能够快速部署，也为了让开发人员能够更快速的迭代开发，Sqoop独立成为一个Apache项目。

第1章 Hadoop概述1.1 Hadoop是什么1.2 Hadoop发展历史（了解）1.3 Hadoop三大发行版本（了解）Hadoop三大发行版本：Apache、Cloudera、Hortonworks。Apache 版本最原始（最基础）的版本，对于入门学习最好。2006Cloudera内部集成了很多大数据框架，对应产品CDH 。2008Hortonworks文档较好，对应产品HDP 。2011Hortonworks现在已经被Cloudera公司收购，推出新的品牌CDP 。

用户管理命令useradd添加用户语法：useradd [选项] 用户名passwd修改密码命令语法：passwd [选项] [用户名]用户密码：生产环境中，用户密码长度8位以上，设置大小写加数字加特殊字符，要定期更换密码。qwhA1/j=userdel（user delete）删除用户 -r 删除账号时同时删除宿主目录（remove）权限管理三种基本权限r 读权限（read）w 写权限（write）x 执行权限 （execute）权限说明所有者 所属组 其他人第

Linux操作系统1 Linux简介UNIX与Linux发展史Unix在1969年，美国贝尔实验室的肯汤普森在DEC PDP-7机器上开发出了UNIX系统。Linux出现于1991年，是由芬兰赫尔辛基大学学生李纳斯·托瓦兹（Linus Torvalds）和后来加入的众多爱好者共同开发完成 。Linux介绍Linux是一种自由和开放源码的操作系统，存在着许多不同的Linux发行版本，但它们都使用了Linux内核。Linux内核网站：www.kernel.org基于内核，再增加一些桌面，应用程

vmware / virualboxvm => virtual machine1 vmware => n vmredhat / ubuntu / centos7(基于redhat)###新建虚拟机步骤#####1、在电脑中先创建好安装的文件夹vm-env文件下装的是虚拟机工具文件vm-data文件下放置数据文件#2、创建一个文件夹比如single01#3、打开虚拟机，点击新建虚拟机，选择自定义安装，点击下一步如下操作，按图片顺序进行，不再进行文字描述，比较简单。

第一阶段：安装虚拟机第二阶段：Linux操作系统第三阶段：zookeeper分布式协调服务框架第四阶段：Hadoop分布式文件系统HDFS第五阶段：Hadoop分布式计算Mapreduce和资源管理第六阶段：数据仓库Hive第七阶段：分布式数据仓库Hbase第八阶段：日志采集Flume第九阶段：分布式搜索Elasticsearch第十阶段：缓存数据库Redis第十一阶段：分布式语言Scala第十二阶段：分布式计算框架Spark第十三阶段：大数据任务调度系统Azkaban第十四阶段：

（1）编辑密码验证策略vim /etc/pam.d/system-authpassword requisite pam_pwquality.so try_first_pass local_users_only retry=3 authtok_type= minlen=6 ucredit=1 lcredit=1 ocredit=1 dcredit=1（2）修改用户xiao的密码注：输入一次密码:123456，提示“无效的密码： 密码未通过字典检查 - 过于简单化/系统化”，不用管，继续输入密码：

今天为大家带来流计算领域经常使用的组件 ElasticSearch，本文通过原理+实战操教程带领大家快速学会 ElasticSearch 搜索引擎，以下内容全部经过实战操作，可以根据文档进行学习~大纲如下：1 ElasticSearch 概述1.1 全文搜索引擎小伙伴们经常使用 google 或者百度进行搜索内容，在输入框中输入关键字，这个时候，网站会将包含 关键字 的所有网页返回，大家有没有想过，为什么输入关键字就可以查到结果呢？ 同时网站上返回的页面内容大多都是一些 非结构化 的文本数据，

topN的常见应用场景，最热商品购买量，最高人气作者的阅读量等等。1. 用到的知识点1.Flink创建kafka数据源；2.基于 EventTime 处理，如何指定 Watermark；3.Flink中的Window，滚动（tumbling）窗口与滑动（sliding）窗口；4.State状态的使用；5.ProcessFunction 实现 TopN 功能；2. 案例介绍通过用户访问日志，计算最近一段时间平台最活跃的几位用户topN。1.创建kafka生产者，发送测试数据到kafka；2

最近发现离线任务对一个增量Hive表的查询越来越慢，这引起了我的注意，我在cmd窗口手动执行count操作查询发现，速度确实很慢，才不到五千万的数据，居然需要300s，这显然是有问题的，我推测可能是有小文件。我去hdfs目录查看了一下该目录：发现确实有很多小文件，有480个小文件，我觉得我找到了问题所在，那么合并一下小文件吧：insert into test select * from table distribute by floor (rand()*5);这里使用distribute by进

flink提交程序有两种方式：1、Standalone HA2、Flink on yarn首先结合例子先介绍第一种方法：#Standalone HApackage cn.wcimport org.apache.flink.api.java.utils.ParameterToolimport org.apache.flink.streaming.api.scala._object StreamWordCount01 { def main(args: Array[String]): Un

查看虚拟机磁盘分布[root@data ~]# df -lh文件系统 容量 已用 可用 已用% 挂载点devtmpfs 4.7G 0 4.7G 0% /devtmpfs 4.7G 0 4.7G 0% /dev/shmtmpfs 4.7G 13M 4.7G 1% /runtmpfs

1、一种是会报空指针错误如图：出现这种情况有两种可能，第一种是缺少依赖包：cp /opt/software/mysql-connector-java-5.1.31.jar /opt/install/sqoop/lib/cp /opt/software/commons-lang-2.6.jar /opt/install/sqoop/lib/cp /opt/software/java-json.jar /opt/install/sqoop/lib/第二种是/sqoop/lib/下面多了hive-ex

------------------------------------taildir source ------------------------------------1、内容查询====================================[root@singlelucky flume]# head -10000 prolog.log>tail01/prologhead10000.log[root@singlelucky flume]# ls tail01prologhea

-------------------------------------- spooldir -----------------------------------------1、创建cnfvim flume_spooldir_file_hdfs.cnf2、配置信息# 组件说明a1.sources = s1a1.channels = c1a1.sinks = k1# 初始化数据源a1.sources.s1.type = spooldira1.sources.s1.spoo

#1、解压和改名tar -zxvf /opt/download/hadoop/apache-flume-1.9.0-bin.tar.gz -C /opt/software/mv /opt/software/apache-flume-1.9.0-bin /opt/software/flume190#2、配置cd /opt/software/flume190/confmv flume-env.sh.template flume-env.shexport JAVA_HOME=/opt/softwa