- 博客(533)
- 资源 (13)
- 问答 (3)
- 收藏
- 关注
RSS订阅原创 12一般将来时，非延续性动词，be 动词搭配的词组
一、一般将来时用法：(现在的)将来语法：shall + dowill + dobe(am/is/are) going to + do例子：一般将来时 be(am/is/are) going to + doIt is so dark outside. It is going to rain.I have got an offer. I am going to study abroa...
2019-07-14 15:21:10
2180
原创 13将来进行时
一、将来进行时语法:will be doing 不挑主语,所以使用频率比较高shall be doing 挑主语，只能为I / we解释:将来某时正在进行/确定要发生的将来I will be waiting here at 10:00 tomorrow.They will ...
2019-07-14 15:20:56
273
原创 00英语时态
英语时态一般进行完成完成进行现在一般现在时现在进行时现在完成时现在完成进行时过去一般过去时过去进行时过去完成时过去完成进行时将来一般将来时将来进行时将来完成时将来完成进行时过去将来一般过去将来时过去将来进行时过去将来完成时过去将来完成进行时一般现在时一般过去时一般将来时一般过去将来时现在进行时过去进行...
2019-07-14 15:20:38
1395
原创 新概念2-课文名称和知识点
课文名称知识点Lesson 1 A private conversation 私人谈话Lesson 2 Breakfast or lunch?早餐还是午餐?Lesson 3 Please send me a card 请给我寄一张明信片Lesson 4 An exciting trip 激动人心的旅行Lesson 5 No wrong numbe...
2019-07-14 15:20:25
7145
原创 15直接引语变间接引语(陈述句作宾语从句)
一、直接引语变间接引语用法：1）引号去掉，变成宾语从句2）根据语句情况，转换人称和时态例子：他说:“我是笨蛋。” 直接引语他说我是笨蛋。 错误语句他说他是笨蛋。 间接引语 （直接引语变间接引语）He says, ‘I am ...
2019-07-14 15:18:44
1150
原创 16 if 条件状语从句
一、 if 条件状语从句(真实条件句)备注：1、【假设将来】在生活中或者学生期间占据90%以上，所以我们一直有个假象 【所有if条件状语都是主将从现】2、if条件状语从句，注意主句和从句的变换（如上图所示）1、if 条件状语从句(真实条件句)【假设过去】（从句）If tall chimneys were built above sea level, （主句）the tunnel wou...
2019-07-14 15:18:24
5749
原创 14过去完成时 vs 现在完成时，过去完成时 vs 一般过去时 vs 过去将来时
一、过去完成时形式:had + done用法:过去的之前解释：(全部完成/部分完成)二、过去完成时 变否定疑问She had left.She had not left.Had she left?What had she done?三、过去完成时 与一般过去时的搭配使用When he got there, she had left.一般过去时 过去完成时过去 ...
2019-07-14 15:17:27
706
原创 大数据权限管理-Hue和ldap脚本说明(6)
说明：脚本有两个，第一个脚本功能是：添加组，用户，组和用户的映射关系第二个脚本功能是：将ldap中创建的组同步到hue中#!/usr/bin/env bash:<<EOF功能：添加组，用户，组和用户的映射关系说明： 1）参数为：组，用户，add。则添加组，用户，依赖 2）参数为：组，用户，delete。则删除依赖EOFif [ $# != 3 ] ; ...
2019-07-10 10:13:12
365
原创 大数据权限管理-Security和hive-impala-hue的配置(2)
目录1、Sentry和hive的配置2、Sentry和impala的配置3、Sentry和hue的配置1、Sentry和hive的配置 本文主要粗略叙述基于 ClouderaManager 在CDH 5.14 中为 Impala 和 Hive 配置 Sentry 的过程。 在Se...
2019-07-10 10:12:49
767
原创 大数据权限管理-研究过程及组件介绍(1)
目录1、问题2、研究过程及结果3、组件介绍hue介绍Security介绍ACLs介绍ldap介绍1、问题：大数据平台中权限问题让不少架构师是头疼，大数据平台中【HIVE库】和【HDFS目录】让用户随意操作，以至于【HIVE库】和【HDFS目录】中敏感区和非敏感区得不到有效控制。就算通过HDFS的ACL控制了，但通过程序任何用户依然操作【HIVE库】和【HDFS目录】中敏感区...
2019-07-10 10:12:42
990
原创 Python3 SMTP发送邮件
https://www.runoob.com/python3/python3-smtp.htmldef sendEmail(message): # 第三方 SMTP 服务 mail_host = "smtp.qq.com" # 设置服务器 mail_user = "[email protected]" # 用户名 mail_pass = "" # 口令 ...
2019-07-05 11:21:40
643
原创 大数据系列的默认端口（hbase，hadoop，hived等）
组件Daemon端口配置说明HDFSDataNode50010dfs.datanode.addressdatanode服务端口，用于数据传输50075dfs.datanode.http.addresshttp服务的端口50475dfs.datanode.https.addresshttps服务的端口50020dfs.data...
2019-06-20 17:04:31
10307
5
原创 Python3爬虫--页面数据寻找及解析
目录一、需求说明二、页面数据源在内嵌Iframe三、页面数据源为json四、页面数据源为js五、页面数据源为xml一、需求说明近期有一个项目是爬取多家银行汇率，我提取了几个相似的案例，本文主要讲解页面数据获取方法。二、页面数据源在内嵌Iframe中银香港URL为： https://www.bochk.com/tc/investment/rates/deposit.html实...
2019-06-20 16:47:41
1234
转载 CDH 如何获取Hive正在执行或者已结束的的MapReduce作业的SQL语句
目录一、文档编写目的二、通过YARN执行作业的xml配置文件获取三、通过Cloudera Manager来获取四、通过Cloudera Manager的API接口获取一、文档编写目的当我们提交Hive SQL语句到YARN后，有时如果我们想监控某个SQL的执行情况，需要查看具体SQL语句，如果这个SQL语句比较长，无论是通过YARN的8088界面还是YARN的命令都无法看全这个SQ...
2019-06-20 15:39:08
4048
原创 Sqoop抽取Phoenix数据
使用场景：主要想实现抽取hbase数据到hive中，Sqoop不支持对hbase的直接抽取，但是我们可以通过Phoenix映射hbase表实现。安装好phoenix后对于HBase中已经存在的数据表不会自动进行映射，所以想要再phoenix中操作HBase已有数据表就需要手动进行配置。查看phoenix的版本，如果版本是4.10之前的，映射关系是根据列来映射的，phoenix可以通过create...
2019-05-06 21:35:09
789
原创 Hive中row_number()函数用法详解及示例
目录一、Hive 中row_number()函数介绍二、使用示例三、总结四、附录在Oracle中，我们经常会用到row_number() over(partition by clo1 order by clo2 desc) 方法来取表中clo1 重复记录clo2最大的一条或几条记录，那在Hive上row_number()是否存在这个函数，其具体的用法是怎么样的呢？下面我们通过具体的示...
2019-04-26 10:51:17
12477
原创 azkaban失败任务批量重跑
其他接口可以参考官方文档 https://azkaban.readthedocs.io/en/latest/ajaxApi.html一、mydb查询失败数据（查出projectname和flowid）select b.name ,a.flow_id from execution_jobs aINNER JOIN projects b ON a.project_id = b.idWHERE ...
2019-04-25 15:43:02
4536
原创 Hive教程（十二）---HIVE表的备份及清除脚本
#!/usr/bin/env bash:<<EOF将${db}中的${tableName}备份到${bak_db}中，且删除${db}.${tableName}EOFif [ $# != 2 ] ; thenecho "请输入参数：库名 表名"echo " e.g.: ./cleanHiveTable.sh app app_system_yh_d"exit 1;fi...
2019-04-25 11:17:59
1435
原创 数据仓库中拉链表的实现
在有些情况下，为了保持历史的一些状态，需要用拉链表来做，这样做目的在可以保留所有状态的情况下可以节省空间。拉链表适用于以下几种情况吧数据量有点大，表中某些字段有变化，但是呢变化的频率也不是很高，业务需求呢又需要统计这种变化状态，每天全量一份呢，有点不太现实，不仅浪费了存储空间，有时可能业务统计也有点麻烦，这时，拉链表的作用就提现出来了，既节省空间，又满足了需求。一般在数仓中通过增加begi...
2019-04-17 18:23:48
16168
1
原创 数据仓库中的增量表，全量表，快照表，拉链表
目录1、增量表2、全量表3、快照表4、拉链表1、增量表增量表：新增数据，增量数据是上次导出之后的新数据。（1）记录每次增加的量，而不是总量；（2）增量表，只报变化量，无变化不用报（3）每天一个分区2、全量表每天的所有的最新状态的数据。（1）全量表，有无变化，都要报（2）每次上报的数据都是所有的数据（变化的 + 没有变化的）（3）只有一个分区3、快照表按日分区...
2019-04-17 14:25:43
19599
2
原创 Shell教程（六）--函数
#!/usr/bin/env bash:<<EOF Shell 函数EOF###########################[ function ] funname [()]#{# action;# [return int;] #返回值只能为int#}##########################demoFun(){ ...
2019-04-17 13:37:12
261
原创 Shell教程（五）--流程控制
#!/usr/bin/env bash:<<EOF Shell 流程控制 if if else if else-if elseEOF############################if 语句语法格式, if else 语法格式, if else-if else 语法格式,##if condition ...
2019-04-17 13:36:30
215
原创 Shell教程（四）--输出的格式化
#!/usr/bin/env bash:<<EOF Shell printf 命令(输出的格式化)EOF#=================================================================================# 语法 printf format-string [arguments...]# ...
2019-04-17 13:35:54
1093
原创 Shell教程（三）--算术运算符
#!/usr/bin/env bash:<<EOF Shell 算术运算符EOFecho "==============Shell 算术运算符========================"a=10b=20val=`expr $a + $b`echo "a + b : $val"val=`expr $a - $b`echo "a - b : $val"...
2019-04-17 13:35:13
326
原创 Shell教学-参数传递
#!/usr/bin/env bash:<<EOF Shell 参数传递EOF#--------------------------------------------# $# 传递到脚本的参数个数# $* 以一个单字符串显示所有向脚本传递的参数。# 如"$*"用「"」括起来的情况、以"$1 $2 … $n"的形式输出所有参数。# $$ ...
2019-04-17 13:34:34
250
原创 Shell教程（一）--变量
#!/usr/bin/env bash:<<EOF 1、shell 变量EOFecho "============Shell 变量===================="#注意，变量名和等号之间不能有空格your_name="runoob.com"echo $your_name#有效变量RUNOOB="RUNOOB"LD_LIBRARY_PATH="LD...
2019-04-17 13:30:23
276
原创 Hive中UDF函数包含HttpClient依赖冲突
目录一、错误信息二、问题分析及解决三、httpclient-4.2.5版本Get，Post方法四、httpclient-4.5.3版本Get，Post方法一、错误信息：Caused by: org.apache.hadoop.hive.ql.metadata.HiveException: Unable to execute method public java.lang.String...
2019-04-11 20:05:32
2106
3
原创 CDH5.14.4离线安装Spark2.2.0详细步骤
目录一、简介：二、安装准备三、开始安装一、简介：在我的CDH5.14.4集群中，默认安装的spark是1.6版本，这里需要将其升级为spark2.x版本。经查阅官方文档，发现spark1.6和2.x是可以并行安装的，也就是说可以不用删除默认的1.6版本，可以直接安装2.x版本，它们各自用的端口也是不一样的。这里做一下安装spark2.1版本的步骤记录。二、安装准备csd包：http...
2019-03-19 11:48:22
8268
3
原创 CDH5.14.4之HDFS-Hbase-Yarn的高可用配置
需求：CDH5.14.4需要将HDFS、Hbase、Yarn做一个高可用设置HDFS高可用配置前提：在搭建cdh的时候是有一个secondNameNode角色,而在做HDFS的HA机制的时候会删除这个角色。同时需要JournalNode角色。步鄹如下：HDFS高可用结果如下：Hbase高可用配置Hbase高可用如下：Yarn高可用配置...
2019-03-18 16:09:11
1469
原创 CDH邮件报警配置(亲测)
cloudera manager提供邮箱警告功能，方便管理员在集群出现问题的第一时间维护集群。具体操作如下：1.登录cloudera manager页面，进入cloudera manager service服务2.点击配置，在搜索框中写入alert:3.邮箱服务器密码的获取方法：这里很重要：进入发件人的qq邮箱，用户-账户-smtp开启-服务码，具体方法可以问度娘，这里不详述。将授权...
2019-03-07 14:32:06
2987
9
原创 sqoop入门教程
目录一、Sqoop概述&amp;nbsp; &amp;nbsp; &amp;nbsp; &amp;nbsp;1、简介&amp;nbsp; &amp;nbsp; &amp;nbsp; &amp;nbsp;2、Sqoop架构原理&amp;nbsp; &amp;nbsp; &amp;nbsp; &amp;nb
2019-01-22 20:45:01
3435
原创 tmpwatch安装和使用
目录一、需求二、安装和使用三、常用命令一、需求CDH上面时长报警，日志路径也更改过。后来发现是/tmp文件很大，之后安装了tmpwatch软件定期清洗。二、安装和使用yum -y install tmpwatch验证：cat /etc/cron.daily/tmpwatch[root@hadoop11 ~]# cat /etc/cron.daily/tmpwatch#!...
2019-01-11 16:09:38
3704
1
原创 通过python连接hive
需求：通过Anaconda3.6.7连接hive查询步鄹：下载pyhiveconda install pyhive查询脚本from pyhive import hiveconn = hive.Connection(host=&amp;quot;IP&amp;quot;, port=10000, username=&amp;quot;hive&amp;quot;)cursor= conn.cursor()c
2018-12-27 17:59:09
2327
原创 idea+springboot+freemarker热部署(亲测)
需求：最近要做前端事情，使用了idea+springboot+freemarker，每次修改freemarker都要重新启动，网络找了一些方法，加上自己的一些方法完成了。本人用的是idea2018.1的版本步鄹第一步：在maven中加入devtools的依赖（这里我使用的是maven来管理项目） &amp;lt;!-- freemarker热启动 --&amp;gt; &amp;lt;...
2018-12-17 14:18:12
5577
5
原创 Shell教程（二）--参数传递
Shell 参数传递默认方式#!/usr/bin/env bash:<<EOF Shell 参数传递EOF#--------------------------------------------# $# 传递到脚本的参数个数# $* 以一个单字符串显示所有向脚本传递的参数。# 如"$*"用「"」括起来的情况、以"$1 $2 … $n"的形式输...
2018-12-11 14:49:13
1182
原创 SpringBootMVC的增删改查以及Jsp页面展示
目录1、demo结构2、Springboot项目修改html后不需要重启1、demo结构Demo下载地址:demo整体结构前台页面新增页面编辑页面删除页面2、Springboot项目修改html后不需要重启1)spring-boot-devtools在pom中直接引入依赖&amp;amp;amp;amp;lt;dependency&amp;amp;amp;amp;gt; &a
2018-11-22 23:39:40
2619
6
原创 spring boot+mybatis整合
目录一、整体结构图二、Spring boot搭建三、整合Mybatis(自动生成工具)1、集成druid，使用连接池2、自动生成工具依赖和插件3、最终的pom.xml文件：4、在application.yml中添加数据源、Mybatis的实体和配置文件位置。5、自动生成代码配置文件。6、建立数据库和表7、生产Dao层和entity类8、建立controller层类9、建立s...
2018-11-12 17:35:45
655
Mysql教程所有数据.zip
2020-05-05
crawlerBank.py
2019-07-08
SpringBoot的mvc三层以及增删改查页面
2018-11-22
spring boot+mybatis整合
2018-11-12
Lucene实战(第2版).pdf
2018-08-28
SparkSql技术
2018-08-16
hadoop-Apache2.7.3+Spark2.0集群搭建
2018-08-16
TA创建的收藏夹 TA关注的收藏夹
TA关注的人