自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

北京小辉

学习是一种享受,也是一种痛苦,更是一种回忆!!!

  • 博客(532)
  • 资源 (14)
  • 问答 (1)
  • 收藏
  • 关注

原创 Spark深入解读(十一)---- RDD、DataFrame和DataSet的区别

目录一、Spark RDD二、DataFrame三、DataSet一、Spark RDD优点编译时类型安全编译时就能检查出类型错误面向对象的编程风格直接通过类名点的方式来操作数据缺点序列化和反序列化的性能开销无论是集群间的通信, 还是IO操作都需要对对象的结构和数据进行序列化和反序列化.GC的性能开销频繁的创建和销毁对象, 势必会增加GCobject Run...

2019-09-18 15:45:11 364

原创 Spark深入解读(十)---- 存储原理--shuffle 过程

目录一、Spark Shuffle 的发展1.1、未优化的 HashShuffle1.2、优化后 HashShuffle1.3、Sort-Based Shuffle二、Spark Shuffle 中数据结构2.1、AppendOnlyMap2.2、ExternalAppendOnlyMap2.3、PartitionedAppendOnlyMap2.4、PartitionedPai...

2019-09-18 15:01:06 742

原创 52 现在完成时+现在完成进行时

现在完成时VS现在完成进行时现在完成时形式:have/has done用法:现在的之前,强调事情完成的结果现在完成进行时形式:have/has been doing用法:现在的之前,强调事情进行的过程现在完成进行时例子have/has been doingI have been studying English all morning.It has been raining ...

2019-09-18 09:21:14 554

原创 49 简单句+并列句+复合句+状语从句的省略

简单句+并列句+复合句简单句:一件事情并列句:多件事情一样重要 25并列句复合句:多件事情不一样重要 = 主句 + 从句(连接词 + 陈述句)状语从句的省略1)done 作状语(表示被动)Because she was punished, she burst into tears.Because punished, she burst into tears.Punished, s...

2019-09-18 09:15:18 630

原创 Flink Job上传的jar包保存在哪里

       通过 flink UI dashboard提交的 jar 存储在哪个目录下? 一直都有疑惑,之前没做深入的了解,这个问题不解决感觉心里总在惦记着。今天就跟我一起来探寻一下其中的套路吧。       Google大法好       找到了一条关于 Flink Up...

2019-09-12 16:29:58 5985

原创 重要的技术资料

Java慕课网Java相关课程学习项目源码,博客地址 https://segmentfault.com/blog/zccoder英语美国之音 : http://www.51voa.com/ 大耳朵英语: http://www.ebigear.com/ 新概念英语: http://www.new-english.org/ USA Today : http://www.usa...

2019-09-12 09:55:25 1684

原创 38 过去完成时与一般过去的区别+主谓

过去完成时用于描述过去某个时间点之前已经发生了的事情。也就是“过去的过去”。基本形式为主语+had+过去分词。一般过去时表示过去某个时间里发生的动作。是我们很熟悉的时态了。基本形式为主语+动词过去式。那么两者有什么区别和联系呢?请先看例句对比:(1)I did not have any money. 我没钱。I did not have any money because I h...

2019-08-30 23:19:56 534

原创 43 can/be able to和主语从句

一、can/be able to的用法区别功能说明我们都知道 be able to 与can都有“能够”、“可以”的意思,在一般情况下,还是可以互通互用的。但也有一些特殊的时候这两者由于其用法区别,应用的情景也不同。英语语法网想大家通过所举的例子体会期中的区别。(1) be able to 强调通过努力而获得的能力,而can则强调自身已具有的能力。如:She can sing the so...

2019-08-30 23:02:41 769

原创 46 同位语和同位语从句(以及) to/at/for/with 用法搭配

一、同位语和同位语从句同位语解释       当两个指同一人或事物的句子成分放在同等位置时,其中一个句子成分可用来说明或解释另一个句子成分,此时前者(起说明或解释作用的句子成分)就叫做后者(被说明或解释的句子成分)的同位语。同位语案例We have two children, a boy and a girl. 我们有两个孩子,一个男孩和一个女孩。...

2019-08-30 22:58:40 2478

原创 30复习冠词 some和any

复习冠词https://blog.csdn.net/silentwolfyh/article/details/95324850一、some和any的用法some意为“一些”、“几个”,通常用于肯定句中。现将其主要用法归纳如下:1)some作形容词用时,可以修饰复数可数名词,也可以修饰不可数名词。例如:There are some students in the classroom. 教室...

2019-08-24 21:47:29 791

原创 32形容词/副词的原级比较

一、形容词/副词的最高级 “最”• adj./adv.的最高级(+介词短语表示比较的范围)• 通常用于三者或以上的比较二、形容词/副词的比较级 “更”• adj./adv.的比较级 (+ than 比较的对象)• 通常用于两者之间的比较三、形容词/副词的原级比较• as + 比较的内容 + as +比较的对象(adj./adv.原形)• “和…相比一样的…”I am as ta...

2019-08-24 21:47:24 1036

原创 33地点位置的介词

一、at ,in, on, toat (1)表示在小地方; (2)表示“在……附近,旁边”in (1)表示 在大地方; (2)表示“在…范围之内”。on 表示毗邻,接壤to 表示在……范围外,不强调是否接壤He arrived at the station at ten.He is sitting at the desk.He arrived in Shanghai yes...

2019-08-24 21:47:21 647

原创 37 将来完成时

语法形式:will / shall + have done1. 表示将来完成即表示到将来某个时间为止势必会完成或预计要完成的动作。如:Maybe by then you will have changed your mind. 也许到时候你已经改变主意了。“You'll have finished by tomorrow.” “I wish!” “你到明天就完成了。”“但愿如此! ”...

2019-08-24 21:47:17 286

原创 39 直接引语变间接引语(宾语从句)

图解说明一、直接引语变间接引语步鄹:引号打开 变宾语从句 ,看引号中的句子类型设身处地 转换角度 ,人称/时态/代词或状语等二、如何变人称;下面有一句顺口溜“一随主。二随宾,第三人称不更新”。“一随主”是指在直接引语变间接引语时,如果从句中的主语是第一人称或被第一人称所修饰。从句中的人称要按照主句中主语的人称变化如:She said. “My brother wants...

2019-08-24 21:47:12 2016

原创 40 if 虚拟条件句(虚拟语气)假设现在

在虚拟语气中,if引导的虚拟条件句是最为核心的,很多学生问我对应的三种时间结构是什么,今天我给各位同学进行了罗列。从句主句与现在事实相反if + 主语+ did/were…主语+ would/could/should/might do…与过去事实相反If+主语+had done…主语+would/could/should/might have done…...

2019-08-24 21:47:05 3076

原创 41 情态动词之need的用法总结

一、 用作情态动词,注意以下用法(1) 其后接动词原形;通常只用于否定句或疑问句,一般不用于肯定句;本身无词形变化。如:Need he do it all at once? 他需要马上就做吗?You needn’t make two copies. One will do. 你不用打印两份。一份就够了。(2) needn’t可用作以must开头的疑问句的否定回答。如:A:Must I g...

2019-08-24 21:46:59 864

原创 Linux离线安装Python3以及各种依赖

下载python3.7.3官网:https://www.python.org/downloads/source/安装python3.7.31.安装pythyon相关依赖yum install -y ncurses-libs zlib-devel mysql-devel bzip2-devel openssl-devel ncurses-devel sqlite-devel readlin...

2019-08-13 11:16:28 21955 1

原创 20doing 动名词

语法介词 + doing 动名词解释1、动名词是 V+ing 变成名词2、动名词都是单数3、动名词角色:动名词主语,介词后面作宾语1 作主语Fishing is my favourite sport.Playing basketball is my favourite sport.Playing basketball with my friends every Sunday i...

2019-07-30 18:13:05 515

原创 19情态动词 may/can

语法情态动词 may 表示:推测 “可能” may do / may have done情态动词 can 表示: 能力 “能,能够”情态动词 could 表示:过去,如果是现在表示比较委婉 解释1、疑问句中 may 只能接主语【 I 】 , 陈述句中可以接 I / You/ They 等2、疑问句中或者陈述句中, can 主语可以接 I / You/ They 等3、may限制...

2019-07-30 18:12:53 960

原创 18 have的用法

一、语法:have的用法:实义动词 和 助动词1、 实义动词:“有”(own / possess)I have a book.She has a car.He had a surprise.2、实义动词:“吃喝玩乐做”have a mealhave breakfasthave some waterhave funhave a good timehave a swim3、助...

2019-07-30 18:12:38 449 1

原创 21被动语态与时态相结合,被动语态与情态动词或词组相结合

一、被动语态与时态相结合参考:10被动语态,双重所有格https://blog.csdn.net/silentwolfyh/article/details/95380086二、被动语态与情态动词Planes are heard.Planes can be heard.Planes may be heard.Planes must be heard这封信必须马上寄出。The let...

2019-07-30 18:12:25 1467

原创 25并列句

语法顺接转折选择因果解释多个简单句,用并列连词连接顺接…and …/ both …and …not only …but …as wellnot only …but also …(最常用要记住)not only …but …转折…but …(最常用要记住)…yet …选择…or … (最常用要记住)either …orneither …nor …因果...

2019-07-30 18:12:11 285

原创 26宾语从句

语法主句 + 连接词 + 陈述句that表后者解释前者what表什么whether表是否第一个为动宾,动词单宾语第二个为动宾,动词双宾语第三个为介宾,介词单宾语...

2019-07-30 18:11:56 453

原创 28定语从句

定语从句含义:一个句子做定语去修饰限定名词案例:(句子)那位同学(定语从句)坐在窗户旁边穿红衣的女同学分析:定语从句关系词对应主语表先行词关系词事/物which / that人who / whom / that人/物(“某人的/某物的”)whose时间when地点where原因why关系词的几点注意:定语从句的...

2019-07-30 18:11:42 703 2

原创 29表语从句

一、什么是表语从句?       表语从句放在连系动词之后,充当复合句中的表语。表语从句(Predicative Clause)就是指一个句子作为表语,说明主语是什么或者怎么样,由名词、形容词或相当于名词或形容词的词或短语充当,和连系动词一起构成谓语。二、表语从句的构成:       关联词+简单句三、引导表语...

2019-07-30 18:11:27 1483

转载 IntelliJ IDEA 配合 Maven 的一些技巧:Profiles

来源:https://youmeek.gitbooks.io/intellij-idea-tutorial/content/maven-skill-introduce.html环境IntelliJ IDEA 2017.1Maven 3.3.9Nexus 3.2.1学习前提了解 Maven 配置的基本用法了解私有仓库,比如 nexus 的一些概念强烈建议把 Maven 的 se...

2019-07-15 10:17:53 9124

原创 17情态动词 must/have to

情态动词 must/have to语法情态动词+动词原形情态动词没有人称变化must时态有限过去和现在,have to有现在、过去、将来、完成表否定疑问,直接加not 提前一个句子只能且只有一个情态动词解释情态动词表态度情绪must是必须,have to是不得不must和have to 基本可以通用对比一下1)must 表示推测“肯定,一定”She must b...

2019-07-14 17:31:16 766

原创 06冠词

冠词泛指特指接可数名词单数a / anthe接可数名词复数some /不加冠词the接不可数名词some /不加冠词the练习:______ air pollution is a serious problem.______ air pollution of Beijing must be solved at once.Lisa gave...

2019-07-14 15:23:32 127

原创 01简单陈述句

一、简单陈述句的构成——核心名词 + 动词( n. + v. )主语 + 谓语例 1:Birds fly.例 2:We walk.主语 + 谓语v.+?例 1:I have ? I have a seat.例 2:The play was ? The play was interesting.二、简单陈述句的构成——语序你吃苹果。(正确)苹果吃你。(错误)你苹果吃...

2019-07-14 15:23:27 1583

原创 02一般现在时VS现在进行时

一、一般现在时语法 谓语 v. = 原形/第三人称单数 (do/does)用法1表示现在经常性习惯性的动作,例:We have the English class every day.I never get up early on Sundays.I sometimes stay in bed until lunchtime.He often gets up late.搭配频度副...

2019-07-14 15:23:22 404

原创 03一般过去时和主谓双宾

一、一般过去时语法:V.过去式 (did)用法:Last summer I went(go) to Italy.Mary and I talked (talk) about your book hours ago. They had (have) a meeting yesterday.Tom was (be) a student when he was ten years old. ...

2019-07-14 15:23:18 1215

原创 04现在完成时和同位语

一、现在完成时语法: have/has + done(V.过去分词)理解: 现在的之前,可以包括:1 现在全部完成,2 现在部分完成例 1:He has finishedthe homework.他已经完成了家庭作业(现在全部完成)We have learned English for ten years.他已经学习英语十年了(现在还在学习,也就现在部分完成)二、现在完成时 变否定...

2019-07-14 15:22:57 466

原创 05现在完成时 vs 一般过去时 和 way 短语

一、现在完成时 vs 一般过去时03一般过去时和主谓双宾https://yuhui.blog.csdn.net/article/details/9505212504现在完成时和同位语https://yuhui.blog.csdn.net/article/details/95103501现在完成时 常搭配的时间状语just / already / ever / never/yetso...

2019-07-14 15:22:46 357

原创 07过去进行时,过去将来时,陈述句 变宾语从句(that 引导)

一、 过去进行时The plane was late and detectives were waiting at the airport all morning.语法: was/were doing用法:She was reading a book at 11:00 last night.过去进行时变否定疑问She was reading a book at 11:00 last ni...

2019-07-14 15:22:32 1568

原创 06冠词

一、定冠词、不定冠词、零冠词解释说明描述:从上图可以看出【定冠词、不定冠词、零冠词】可以一刀切,分为【泛指(a/an/some/不加冠词)】和【特指(the)】定冠词        the        表示特指不定冠词        a/an   &nbs...

2019-07-14 15:22:19 214

原创 08形容词副词的用法,形容词 副词的比较级和最高级

一、形容词/副词的作用形容词(adj.) 修饰名词Eg:This is a wonderful world.We are living in a beautiful new house.Their sleeping bags were warm and comfortable.副词(adv.) 修饰动词/句子/其他的形容词或副词Roy acted quickly.Suddenly, ...

2019-07-14 15:22:08 753

原创 09表示时间的介词

一、介词on语法:用在时间上,表示某一具体的时间前面(常表达某一天)on Mondayon July 7th.on Wednesday eveningon the morning of July 7th.二、 介词in语法:用在时间上,表示在某一特定时间里,或者某段时间之后in 1992 / January / summerin the morning / afternoon /...

2019-07-14 15:21:55 684

原创 10被动语态,双重所有格

一、被动语态被动语态的使用方法现在进行时的被动 am/is/are being done现在完成时的被动 have/has been done教室每天都打扫。Classrooms ____________ (clean) every day.答案: are cleaned。解析:1、clean 变成cleaned;2、因为是every day所以 be变成is或者are;3、C...

2019-07-14 15:21:43 700

原创 11复习时态

一、复习时态第二课 一般现在时 现在进行时第三课 一般过去时第四、五课 现在完成时第七课 过去进行时链接如下:(常用)一般现在时 do + done(常用)一般过去时 did(常用)现在进行时 am/is/are being(常用)过去进行时 was/were being(常用)现在完成时 has/have done...

2019-07-14 15:21:28 234

原创 12一般将来时,非延续性动词,be 动词搭配的词组

一、一般将来时用法:(现在的)将来语法:shall + dowill + dobe(am/is/are) going to + do例子:一般将来时 be(am/is/are) going to + doIt is so dark outside. It is going to rain.I have got an offer. I am going to study abroa...

2019-07-14 15:21:10 2252

Mysql教程所有数据.zip

博客【北京小辉】中Mysql教程的所有加载数据。余辉,中科院硕士研究生毕业,专注于大数据领域多年。曾工作于清华大学、京东,现从事大数据讲师一职。 博客地址:https://blog.csdn.net/silentwolfyh

2020-05-05

新概念2知识点.pdf

新概念2-课文名称和知识点,链接:https://blog.csdn.net/silentwolfyh/article/details/95083297

2019-09-06

crawlerBank.py

功能说明: 2、选择爬取 代码说明: 1、如果没有参数,则抓取所有银行数据 1.1、抓取过程中如果有一家银行有错误,会邮件报警,且不影响其余银行抓取 2、如果有参数(参数只能有一个)且参数正确,则抓取对应银行数据 3、如果有参数(参数只能有一个)且参数操作,则停止运行,弹出正确参数列表 4、15家银行的银行名称、 银行代码 、 银行URL如下所示: 备注: 001 属于页面数据源在内嵌Iframe 002 属于页面数据源为json 008 属于页面数据源为js 010 属于页面数据源为xml

2019-07-08

Hive的Udf函数进行数据脱敏

udf开发–做个简单脱敏udf保留前5位,后面全部替换成*****

2019-01-26

sqoop的数据导入

sqoop的数据导入

2019-01-16

SpringBoot的mvc三层以及增删改查页面

demo说明 1、这个demo是一个springboot的样例。 2、MVC三层都弄好了,增删改查功能都能用。 3、Test中有Service层的测试方法 参考地址:https://blog.csdn.net/silentwolfyh/article/details/84350966 参考地址:https://blog.csdn.net/silentwolfyh/article/details/83995563

2018-11-22

spring boot+mybatis整合

目录 一、整体结构图 二、Spring boot搭建 三、整合Mybatis(自动生成工具) 1、集成druid,使用连接池 2、自动生成工具依赖和插件 3、最终的pom.xml文件: 4、在application.yml中添加数据源、Mybatis的实体和配置文件位置。 5、自动生成代码配置文件。 6、建立数据库和表 7、生产Dao层和entity类 8、建立controller层类 9、建立service层类 10、启动之后结果展示 --------------------- 作者:silentwolfyh 来源:CSDN 原文:https://blog.csdn.net/silentwolfyh/article/details/83995563 版权声明:本文为博主原创文章,转载请附上博文链接!

2018-11-12

Lucene实战(第2版).pdf

《lucene实战(第2版)》基于apache的lucene3.0,从lucene核心、lucene应用、案例分析3个方面详细系统地介绍了lucene,包括认识lucene、建立索引、为应用程序添加搜索功能、高级搜索技术、扩展搜索、使用tika提取文本、lucene的高级扩展、使用其他编程语言访问lucene、lucene管理和性能调优等内容,最后还提供了三大经典成功案例,为读者展示了一个奇妙的搜索世界。   《lucene实战(第2版)》适合于已具有一定java编程基本的读者,以及希望能够把强大的搜索功能添加到自己的应用程序中的开发人员。lucene实战(第2版)》对于从事搜索引擎工作的工程技术人员,以及在java平台上进行各类软件开发的人员和编程爱好者,也具有很好的学习参考价值。

2018-08-28

SparkSql技术

目录 一:为什么sparkSQL? 3 1.1:sparkSQL的发展历程 3 1.1.1:hive and shark 3 1.1.2:Shark和sparkSQL 4 1.2:sparkSQL的性能 5 1.2.1:内存列存储(In-Memory Columnar Storage) 6 1.2.2:字节码生成技术(bytecode generation,即CG) 6 1.2.3:scala代码优化 7 二:sparkSQL运行架构 8 2.1:Tree和Rule 9 2.1.1:Tree 10 2.1.2:Rule 10 2.2:sqlContext的运行过程 12 2.3:hiveContext的运行过程 14 2.4:catalyst优化器 16 三:sparkSQL组件之解析 17 3.1:LogicalPlan 18 3.2:SqlParser 20 3.1.1:解析过程 20 3.1.2:SqlParser 22 3.1.3:SqlLexical 25 3.1.4:query 26 3.3:Analyzer 26 3.4:Optimizer 28 3.5:SpankPlan 30 四:深入了解sparkSQL运行计划 30 4.1:hive/console安装 30 4.1.1:安装hive/cosole 30 4.1.2:hive/console原理 31 4.2:常用操作 32 4.2.1 查看查询的schema 32 4.2.2 查看查询的整个运行计划 33 4.2.3 查看查询的Unresolved LogicalPlan 33 4.2.4 查看查询的analyzed LogicalPlan 33 4.2.5 查看优化后的LogicalPlan 33 4.2.6 查看物理计划 33 4.2.7 查看RDD的转换过程 33 4.2.8 更多的操作 34 4.3:不同数据源的运行计划 34 4.3.1 json文件 34 4.3.2 parquet文件 35 4.3.3 hive数据 36 4.4:不同查询的运行计划 36 4.4.1 聚合查询 36 4.4.2 join操作 37 4.4.3 Distinct操作 37 4.5:查询的优化 38 4.5.1 CombineFilters 38 4.5.2 PushPredicateThroughProject 39 4.5.3 ConstantFolding 39 4.5.4 自定义优化 39 五:测试环境之搭建 40 5.1:虚拟集群的搭建(hadoop1、hadoop2、hadoop3) 41 5.1.1:hadoop2.2.0集群搭建 41 5.1.2:MySQL的安装 41 5.1.3:hive的安装 41 5.1.4:Spark1.1.0 Standalone集群搭建 42 5.2:客户端的搭建 42 5.3:文件数据准备工作 42 5.4:hive数据准备工作 43 六:sparkSQL之基础应用 43 6.1:sqlContext基础应用 44 6.1.1:RDD 44 6.1.2:parquet文件 46 6.1.3:json文件 46 6.2:hiveContext基础应用 47 6.3:混合使用 49 6.4:缓存之使用 50 6.5:DSL之使用 51 6.6:Tips 51 七:ThriftServer和CLI 51 7.1:令人惊讶的CLI 51 7.1.1 CLI配置 52 7.1.2 CLI命令参数 52 7.1.3 CLI使用 53 7.2:ThriftServer 53 7.2.1 ThriftServer配置 53 7.2.2 ThriftServer命令参数 54 7.2.3 ThriftServer使用 54 7.3:小结 56 八:sparkSQL之综合应用 57 8.1:店铺分类 57 8.2:PageRank 59 8.3:小结 61 九:sparkSQL之调优 61 9.1:并行性 62 9.2: 高效的数据格式 62 9.3:内存的使用 63 9.4:合适的Task 64 9.5:其他的一些建议 64 十:总结 64

2018-08-16

MacBook Pro的快捷键

目录: 一、开机相关命令快捷键 , 二、常用系统快捷键 , 三、窗口操作 , 四、Finder , 五、屏幕截图

2018-08-16

hadoop-Apache2.7.3+Spark2.0集群搭建

包括了:Hadoop2.7.3、Spark2.0、Zookeeper3.4.8、Hive、Hbase、Kafka2.10、Flume的环境搭建

2018-08-16

SqlServer驱动包

SqlServer驱动包,代码请关注http://blog.csdn.net/silentwolfyh

2015-08-30

silentwolf

让你在最短时间学会ASP.NET 通俗易懂

2010-05-19

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除