2016年03月_北京小辉

12月 11月 10月 09月 08月 07月 06月 05月 04月 03月

原创英文歌曲：my heart will go on(我心永恒)

every night in my dreams 每一个夜晚，在我的梦里 i see you, i feel you 我看见你，我感觉到你 that is how i know you go on 我懂得你的心 far across the distance 跨越我们心灵的空间 and the spaces between us 你向我显现你的来临 you have come to show you

2016-03-27 15:33:21 3344

原创英语：身体部分

head 头 eye 眼睛 nose 鼻子 mouth 嘴 tooth 牙齿 face 面部 ear 耳朵 neck 脖子 throat 喉咙 tongue 舌头 cheek 脸颊 chin 下颚 shoulder 肩膀 arm 手臂 elbow 胳膊 han

2016-03-25 17:02:54 812

原创正则：零宽断言和负向零宽断言

http://deerchao.net/tutorials/regex/regex.htm#lookaround代码展现package test;import java.util.regex.Matcher;import java.util.regex.Pattern;public class RegexUtil { public static void main(String[] args

2016-03-24 22:22:31 3083

翻译英文歌曲：A place nearby (天堂若比邻)

I entered the room 我走进房间。Sat by your bed all through the night 整夜坐在你床边I watched your daily fight 看着你日渐消瘦I hardly knew 我仅仅知道The pain was almost more than I could bear 那样的痛苦我将难以承受And still I hear 依稀还能听见

2016-03-23 22:47:27 2791

转载 javaWeb：http响应状态码大全

http状态返回代码 1xx（临时响应）表示临时响应并需要请求者继续执行操作的状态代码。http状态返回代码代码说明 100 （继续）请求者应当继续提出请求。服务器返回此代码表示已收到请求的第一部分，正在等待其余部分。 101 （切换协议）请求者已要求服务器切换协议，服务器已确认并准备切换。http状态返回代码 2xx （成功）表示成功处理了请求的状态代码。http状态返

2016-03-23 21:51:27 3390

原创 Linux：使用awk命令获取文本的某一行，某一列

“无意中发现了一个巨牛的人工智能教程，忍不住分享一下给大家。教程不仅是零基础，通俗易懂，而且非常风趣幽默，像看小说一样！觉得太牛了，所以分享给大家。点这里可以跳转到教程。”。1、打印文件的第一列(域) ： awk '{print $1}' filename2、打印文件的前两列(域) ： awk '{print $1,$2}' filename3、打印完第一列，然后打印第二列： awk...

2016-03-23 21:04:08 75779 1

原创 Hive数据存储的各种模式

Hive的数据分为表数据和元数据，表数据是Hive中表格(table)具有的数据;而元数据是用来存储表的名字，表的列和分区及其属性，表的属性(是否为外部表等)，表的数据所在目录等。下面分别来介绍。一、Hive的数据存储在让你真正明白什么是hive 博文中我们提到Hive是基于Hadoop分布式文件系统的，它的数据存储在Hadoop分布式文件系统中。Hive本身是没有专门的数据存储格式，也没有为数据建

2016-03-22 22:04:02 826

翻译英文歌曲：Right Here Waiting(此情可待)

Oceans apart, day after day, 海隔一方，日复一日　　　　and I slowly go insane. 我开始恍惚。　　　　I hear your voice on the line,你的声音在线可闻, 　　　　But it doesn’t stop the pain. 但哪能消解心中愁闷。　　　　　　If I see you next to

2016-03-20 21:58:58 2499

翻译英文歌曲：Just One Last Dance(最后一支舞)

Just one last dance….oh baby…just one last dance 最后一曲哦亲爱的最后一曲 We meet in the night in the Spanish café 那个夜晚我们在西班牙咖啡馆相遇 I look in your eyes just don’t know what to say 望着你的双眸心有千言竟无语 It

2016-03-20 21:50:58 2563

翻译英文歌曲：Yesterday Once More(昨日重现)

When I was young I’d listen to the radio当我年轻时，常听收音机， Waitin’ for my favorite songs 等待心爱的歌曲。 When they played I’d sing along 听到播放时便随声歌唱。 It made me smile. 这使我欢畅。 Those were such happy times 那时多么幸福的

2016-03-20 21:45:16 1934

翻译英文歌曲：because of you(因为你)

I will not make the same mistakes that you did 我不会和你犯相同的错误 I will not let myself Cause my heart so much misery 我不会允许自己给自己的心带来如此多的痛苦 I will not break the way you did, You fell so hard 我不会改变你的做

2016-03-20 21:34:04 8245

原创大数据程序员软件包

CDH5版本CDH-5.1.3-1版本 http://pan.baidu.com/s/1pKhlwiZ rpu1CDH-5.3.8-1版本 http://pan.baidu.com/s/1kUhZCW3 hyt0APACHE版本hadoop-2.6.0.tar.gz http://pan.baidu.com/s/1bnVyCaz ldfmhadoop-eclipse-pluginhado

2016-03-20 14:22:37 2975 1

原创 Java程序员软件包

jdk-8u65-linux-x64.tar.gz http://pan.baidu.com/s/1bpJ6do nqvpjdk-8u65-linux-i586.tar.gz http://pan.baidu.com/s/1eRmT99w 88mfjdk-7u79-linux-x64.tar.gz http://pan.baidu.com/s/1jGRM5xG 33eljdk-7u51-

2016-03-20 14:04:31 3499

原创信仰的力量：两个家族200年后的统计

信仰的力量有多大？约束的力量有多大？对后世今生的利益有多大？一定要看！两个家族200年后的统计，两个同时代的家族，一家是信基督教的爱德华兹，另一家是著名无神论的宗师马克.尤克斯。并且，无神论的马克.尤克斯对爱德华兹曾说过：“你信的那位耶稣，我永远不会信”！有人统计了爱德华兹家族200年后的情况，也统计了马克.尤克斯家族200年后的情况，详细统计结果如下:

2016-03-20 10:14:41 1142

原创 MapReduce中wordCount程序工作过程分析

MapReduce主要分为八个步骤： 1）读取文件，解析成key,value对 2）自定义map函数 3）对map输出的数据进行分区 4）对分区后的数据进行排序分组 5）对分组后的数据进行规约 6）通过网络拷贝，将map输出的数据拷贝到reduce节点 7）自定义reduce函数，对map输入的key,value对进一步的处理 8）对处理后的数据进行输出具体8个步鄹细节如下：Map处

2016-03-20 09:00:08 1096

原创 Java基础：java实现非递归二分查询

public class BinarySearchClass { public static int binary_search(int[] array, int value) { int beginIndex = 0;// 低位下标 int endIndex = array.length - 1;// 高位下标

2016-03-20 08:35:49 644

原创 Orcal中的分页

第一种：显示从5 到 10 的员工 1、table01 按照工资降序排列出所有员工 select * from emp order by sal desc2、table02 在员工表table01中设定rownum，rownum<=5 select rownum no, e.* from (select * from emp order by sal desc) e

2016-03-20 08:29:38 821

原创 MySql中的分页

MySQL中分页实现我们来贴例子吧！ mysql> select pname from product; +——–+ | pname | +——–+ | 产品1 | | 产品2 | | 产品三 | +——–+ 3 rows in set (0.00 sec)这个地方是说，从product中选出所有的pname来，一共有三条记录。 MySQL中的分页非常简单，我们可以使用l

2016-03-20 08:28:30 644

原创 hive中的分页

一、借助唯一标识字段如果分页的表有唯一标识的字段，可以通过这个字段来实现分页： • 获取第一页数据：注：同时需要记录这10条中最大的id为preId，作为下一页的条件。 select * from table order by id asc limit 10; • 获取第二页数据：注：同时保存数据中最大的id替换preId。 select * from table where

2016-03-20 08:26:29 10583

原创 hive中的排序

order byorder by 会对输入做全局排序，因此只有一个reducer**（多个reducer无法保证全局有序）**只有一个reducer，会导致当输入规模较大时，需要较长的计算时间。 Sql代码 1. set hive.mapred.mode=nonstrict; (default value / 默认值) 2. set hive.mapred.mode=strict;

2016-03-19 19:16:10 900

翻译英文歌曲：Burning（燃烧）

Passion is sweet 激情令人甜蜜 Love makes weak 爱情令人脆弱 You said you cherished freedom so You refuse to let it go 你说你珍惜你的自由所以你拒绝丢失它 Follow your fate 命中注定 Love and hate 爱恨情仇 Never fail to seize the

2016-03-19 18:45:30 2640

翻译英文歌曲：a place nearby(不远的地方)

琳恩.玛莲（Lene Marlin），来自挪威的音乐精灵，用一把空心吉它及天籁般的声音唤醒内心的感触。A Place Nearby 是首静谧忧伤的歌，简单的旋律，纯净的声音，每次聆听都会打动内心柔软的地方。Lene Marlin 的嗓音柔和，夹杂着少许鼻音，A place nearby整首歌编曲平稳，如泣如诉，如怨如慕，透出来的味道显得有些淡然，听她声声慢慢而娓娓道来，里面似乎有雨季的潮湿，也

2016-03-19 18:28:58 3821

翻译英文歌曲：God is a girl(上帝是女孩)

remembering me discover and see all over the world 记得我在全世界寻找而领悟 she’s known as a girl to those who a free 她是一个想得到自由的女孩 the mind shall be key forgotten as the past 思想将被封锁，忘记过去 cause history will l

2016-03-19 18:17:25 3111

翻译英文歌曲：The day you went away(你走的那天)

The day you went away-M2M 你离去的那天（窈窕美眉）　　Well I wonder could it be ? 我想知道,这是否可能？　　When I was dreaming about you baby. 当我梦到你的时候　　You were dreaming of me. 你的梦中是否也有我　　Call me crazy. 有人说我疯狂　　Call

2016-03-19 18:01:35 2338

翻译英文歌曲：pretty boy(漂亮男孩)

I lie awake at night 晚上我躺在床上没有一点睡意　　See things in black and white 　　世界对我来说只有黑与白　　I’ve only got you inside my mind 　　你的形象无时无刻不在我脑中闪动　　You know you have made me blind 　　我的眼里只有你　　I lie awake and

2016-03-19 17:59:27 2680

翻译英文歌曲：big big world(大世界)

Big big world-Emilia 大世界(艾美丽娅) I’m a big big girl ! 我是个重要的女孩！ In a big big world ! 在一个大世界里！ It’s not a big big thing if U leave me.如果你离开我,那不是件大事。 But I do do feel.但我确实感到。 That I too too will

2016-03-19 17:52:44 1727

翻译英文歌曲：the sound of silence(寂静之声)

Hello darkness, my old friend 你好黑暗我的老朋友 I’ve come to talk with you again 我又来和你交谈 Because a vision softly creeping 因为有一种幻觉正向悄悄地向我袭来 Left its seeds while I was sleeping 在我熟睡的时候留下了它的种子 And the v

2016-03-19 17:50:54 2242

翻译英文歌曲：Marry You(我要娶你)

it’s a beautiful night 夜色如此美丽we’re looking for something dumb to do 让我们去做些可爱的蠢事吧hey baby i think i wanna marry you 亲爱的我想与你结婚is it the look in your eyes or is it this dancing juice 是因为你的眼神迷离或是因为酒精作祟

2016-03-19 17:48:22 3660

翻译英文歌曲：The Rose(玫瑰)

Some say love, it is a river,that drowns the tender reed. 有人说，爱，如流水，浸润了柔嫩的芦苇Some say love, it is a razor,that leaves your soul to bleed. 有人说，爱，似利刃，丢下一个滴血的灵魂Some say love, it is a hunger,an endless ac

2016-03-19 17:41:33 2183

翻译英语歌曲：Cry on My Shoulder(在我肩上哭泣)

If the hero never comes to you 如果男主角还没有出现， If you need someone You’re feeling blue 如果你需要有一个人你感觉忧伤 If you wait for love and you’re alone 如果你孤单的等候着你的爱情; If you call your friends nobody’s home 如果你打

2016-03-19 17:39:25 4466

翻译英语歌曲：Can't Stop Love

We stand here today, together as one 今日，我们一同站在这里， You brighten my days just like the sun 你仿佛太阳般照耀了我的生活。 When everything around is like stormy weather, 当周遭的一切如同暴风骤雨时 We always survive cause were i

2016-03-19 17:38:51 630

翻译英语歌曲：HOTEL CALIFORNIA 加州旅馆

On a dark desert highway, cool wind in my hair 在漆黑荒凉的高速公路上，凉风吹散了我的头发 Warm smell of colitas, rising up through the air 科里塔斯温热的气息，在空中袅袅上升（也有翻译成下面的：“空气中飘来仙人掌的温暖的气味”） Up ahead in the distance, I

2016-03-19 17:38:10 917

翻译英语歌曲：I Love You -Stewart Mac

there was once a broken man 曾经有个心碎的男人 who walked a lonely road 孤独得走在路上 and gave up all his dream放弃所有梦想 i was once this broken man我曾经就是这样一个心碎的男人 who staring into the sun站在阳光下 and just refused to se

2016-03-19 17:37:39 1826

翻译英语歌曲：Home(家)

Another summer day 又一个夏天 Has come and gone away 来了又走 In Paris or Rome… 在巴黎或者罗马 But I wanna go home 但是我只想回家… uhmMay be surrounded by 可能被成千上万的人 A million people I 所拥戴追逐但我 Still feel al

2016-03-19 17:36:48 1342

原创 00日常实用英语

一到十二月分别是：一月：January 二月：February 三月：March 四月：April 五月：May 六月：June 七月：July 八月：August 九月：September 十月：October 十一月：November 十二月：December周一至周日：from Monday to Sunday周一：Monday 周二：Tuesday 周三

2016-03-19 17:23:28 829 1

原创 HIVE的分区、hive关联Hbase、UDF函数

Hive and HDFS 原始数据//建立hive和Hdfs的外部关联表 CREATE EXTERNAL TABLE people(id int,sex string,name string) partitioned by (logdate string,hour string) row forma

2016-03-19 16:50:09 5179

原创 HIVE的内部表和外部表

Hive的数据表创建数据文件 inner_table.dat 创建表 hive>create table inner_table (key string); 加载数据 hive>load data local inpath ‘/root/inner_table.dat’ into table inner_table; 查看数据 hive>

2016-03-19 16:38:25 1842

原创 HIVE的简介

What is Hive Hive是基于Hadoop(HDFS, MapReduce)的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供类SQL查询功能。本质是将SQL转换为MapReduce程序Why use Hive面临的问题： 1）人员学习成本太高我只是需要一个简单的环境： 1）MapReduce如何搞定 2）复杂查询好难 3） J

2016-03-19 10:25:41 797

原创 MapReduce怎样实现二级排序

有两种方法进行二次排序，分别为：buffer and in memory sort和 value-to-key conversion。对于buffer and in memory sort，主要思想是：在reduce()函数中，将某个key对应的所有value保存下来，然后进行排序。这种方法最大的缺点是：可能会造成out of memory。对于value-to-key conversion，主要

2016-03-15 17:18:07 2567

原创 yarn的工作流程

运行在YARN上的应用程序主要分为两类：（1）短应用程序（2）长应用程序短应用程序是指一定时间内（可能是秒级、分钟级或小时级，尽管天级别或者更长时间的也存在，但非常少）可运行完成并正常退出的应用程序，比如MapReduce作业、Tez DAG作业等.长应用程序是指不出意外，永不终止运行的应用程序，通常是一些服务，比如Storm Service（主要包括Nimbus和Supervisor两

2016-03-15 14:43:44 2844

Mysql教程所有数据.zip

博客【北京小辉】中Mysql教程的所有加载数据。余辉，中科院硕士研究生毕业，专注于大数据领域多年。曾工作于清华大学、京东，现从事大数据讲师一职。博客地址：https://blog.csdn.net/silentwolfyh

2020-05-05

新概念2知识点.pdf

新概念2-课文名称和知识点，链接：https://blog.csdn.net/silentwolfyh/article/details/95083297

2019-09-06

crawlerBank.py

功能说明： 2、选择爬取代码说明： 1、如果没有参数，则抓取所有银行数据 1.1、抓取过程中如果有一家银行有错误，会邮件报警，且不影响其余银行抓取 2、如果有参数（参数只能有一个）且参数正确，则抓取对应银行数据 3、如果有参数（参数只能有一个）且参数操作，则停止运行，弹出正确参数列表 4、15家银行的银行名称、银行代码、银行URL如下所示：备注： 001 属于页面数据源在内嵌Iframe 002 属于页面数据源为json 008 属于页面数据源为js 010 属于页面数据源为xml

2019-07-08

Hive的Udf函数进行数据脱敏

udf开发–做个简单脱敏udf保留前5位，后面全部替换成*****

2019-01-26

sqoop的数据导入

2019-01-16

SpringBoot的mvc三层以及增删改查页面

demo说明 1、这个demo是一个springboot的样例。 2、MVC三层都弄好了,增删改查功能都能用。 3、Test中有Service层的测试方法参考地址:https://blog.csdn.net/silentwolfyh/article/details/84350966 参考地址:https://blog.csdn.net/silentwolfyh/article/details/83995563

2018-11-22

spring boot+mybatis整合

目录一、整体结构图二、Spring boot搭建三、整合Mybatis(自动生成工具) 1、集成druid，使用连接池 2、自动生成工具依赖和插件 3、最终的pom.xml文件： 4、在application.yml中添加数据源、Mybatis的实体和配置文件位置。 5、自动生成代码配置文件。 6、建立数据库和表 7、生产Dao层和entity类 8、建立controller层类 9、建立service层类 10、启动之后结果展示 --------------------- 作者：silentwolfyh 来源：CSDN 原文：https://blog.csdn.net/silentwolfyh/article/details/83995563 版权声明：本文为博主原创文章，转载请附上博文链接！

2018-11-12

Lucene实战(第2版).pdf

《lucene实战（第2版）》基于apache的lucene3.0，从lucene核心、lucene应用、案例分析3个方面详细系统地介绍了lucene，包括认识lucene、建立索引、为应用程序添加搜索功能、高级搜索技术、扩展搜索、使用tika提取文本、lucene的高级扩展、使用其他编程语言访问lucene、lucene管理和性能调优等内容，最后还提供了三大经典成功案例，为读者展示了一个奇妙的搜索世界。　　《lucene实战（第2版）》适合于已具有一定java编程基本的读者，以及希望能够把强大的搜索功能添加到自己的应用程序中的开发人员。lucene实战（第2版）》对于从事搜索引擎工作的工程技术人员，以及在java平台上进行各类软件开发的人员和编程爱好者，也具有很好的学习参考价值。

2018-08-28

SparkSql技术

目录一：为什么sparkSQL？ 3 1.1：sparkSQL的发展历程 3 1.1.1：hive and shark 3 1.1.2：Shark和sparkSQL 4 1.2：sparkSQL的性能 5 1.2.1：内存列存储（In-Memory Columnar Storage） 6 1.2.2：字节码生成技术（bytecode generation，即CG） 6 1.2.3：scala代码优化 7 二：sparkSQL运行架构 8 2.1：Tree和Rule 9 2.1.1：Tree 10 2.1.2：Rule 10 2.2：sqlContext的运行过程 12 2.3：hiveContext的运行过程 14 2.4：catalyst优化器 16 三：sparkSQL组件之解析 17 3.1：LogicalPlan 18 3.2：SqlParser 20 3.1.1：解析过程 20 3.1.2：SqlParser 22 3.1.3：SqlLexical 25 3.1.4：query 26 3.3：Analyzer 26 3.4：Optimizer 28 3.5：SpankPlan 30 四：深入了解sparkSQL运行计划 30 4.1：hive/console安装 30 4.1.1：安装hive/cosole 30 4.1.2：hive/console原理 31 4.2：常用操作 32 4.2.1 查看查询的schema 32 4.2.2 查看查询的整个运行计划 33 4.2.3 查看查询的Unresolved LogicalPlan 33 4.2.4 查看查询的analyzed LogicalPlan 33 4.2.5 查看优化后的LogicalPlan 33 4.2.6 查看物理计划 33 4.2.7 查看RDD的转换过程 33 4.2.8 更多的操作 34 4.3：不同数据源的运行计划 34 4.3.1 json文件 34 4.3.2 parquet文件 35 4.3.3 hive数据 36 4.4：不同查询的运行计划 36 4.4.1 聚合查询 36 4.4.2 join操作 37 4.4.3 Distinct操作 37 4.5：查询的优化 38 4.5.1 CombineFilters 38 4.5.2 PushPredicateThroughProject 39 4.5.3 ConstantFolding 39 4.5.4 自定义优化 39 五：测试环境之搭建 40 5.1：虚拟集群的搭建（hadoop1、hadoop2、hadoop3） 41 5.1.1：hadoop2.2.0集群搭建 41 5.1.2：MySQL的安装 41 5.1.3：hive的安装 41 5.1.4：Spark1.1.0 Standalone集群搭建 42 5.2：客户端的搭建 42 5.3：文件数据准备工作 42 5.4：hive数据准备工作 43 六：sparkSQL之基础应用 43 6.1：sqlContext基础应用 44 6.1.1：RDD 44 6.1.2：parquet文件 46 6.1.3：json文件 46 6.2：hiveContext基础应用 47 6.3：混合使用 49 6.4：缓存之使用 50 6.5：DSL之使用 51 6.6：Tips 51 七：ThriftServer和CLI 51 7.1：令人惊讶的CLI 51 7.1.1 CLI配置 52 7.1.2 CLI命令参数 52 7.1.3 CLI使用 53 7.2：ThriftServer 53 7.2.1 ThriftServer配置 53 7.2.2 ThriftServer命令参数 54 7.2.3 ThriftServer使用 54 7.3：小结 56 八：sparkSQL之综合应用 57 8.1：店铺分类 57 8.2：PageRank 59 8.3：小结 61 九：sparkSQL之调优 61 9.1：并行性 62 9.2：高效的数据格式 62 9.3：内存的使用 63 9.4：合适的Task 64 9.5：其他的一些建议 64 十：总结 64

2018-08-16

TA关注的人

Mysql教程所有数据.zip

新概念2知识点.pdf

crawlerBank.py

Hive的Udf函数进行数据脱敏

sqoop的数据导入

SpringBoot的mvc三层以及增删改查页面

spring boot+mybatis整合

Lucene实战(第2版).pdf

SparkSql技术

MacBook Pro的快捷键

hadoop-Apache2.7.3+Spark2.0集群搭建

SqlServer驱动包

silentwolf

stable-diffusion-webui启动报错

微博对一条微博进行评论API

调用JEECG微博发帖API异常

mac版本idea中路径颜色设置