北京小辉-CSDN博客

原创大顶堆和小顶堆--Java版

目录：1、前期参考2、大顶堆原理3、小顶堆原理4、大顶堆和小顶堆对比图5、大顶堆代码6、执行结果————————————————————————————-1、前期参考使用一维数组存储二叉树 http://blog.csdn.net/silentwolfyh/article/details/76946539 Java链表来存储二叉树和（前中后序）遍历二叉树 http://blog.csdn

2017-08-11 16:01:04 11228 3

写了几年的技术博客了，第一次上CSDN的博客首页第一次上榜时间为【2017年8月9号】，结束时间为【2017年8月25号】，地址为：http://blog.csdn.net 第二次上榜时间为【2017年9月28号】，结束时间为【2017年10月11号】，地址为：http://blog.csdn.net2017年8月9号2017年8月10号2017年8月11号2017年8月12号2017年8月13号

2017-08-09 15:09:11 1869 14

原创使用一维数组存储二叉树--Java版

package com.datastructure;/*** * 需求：使用一维数组存储二叉树 * 步骤： * 1、查看原始数据的个数（8个），从而制定二叉树层级（4层），得到满二叉树节点个数（15个） * 2、二叉树节点（15个）为一维数组，全设置为0 * 3、循环遍历原始数据，第一个值为树根 * 4、第二个值与父节点比较，如果大于树根，则往右子树比较，如果数组内的值小于或等于树根，则

2017-08-09 08:51:52 10322 1

原创 python批量kill某一个进程

python批量kill某一个进程#!/usr/bin/python# -*- coding: UTF-8 -*-import osimport syspyName = sys.argv[0]pyPath = sys.argv[1]print "脚本名：", pyName , "参数名：", pyPathlines = os.popen('ps -ef | grep %s' % py

2017-08-07 16:42:51 3540

原创 win7上python2.7连接mysql数据库02

win7上python2.7连接mysql数据库，配置写到配置文件中，本例子找那个包括： 1、单条插入 2、批量插入 3、事务处理myapp.conf# database source[downdb]host = XXX.XXX.XXX.XXXport = 3306user = funnelpass = 1qaz@<2wsxdbName = user_privileges[ond

2017-08-07 10:06:18 936

原创使用python监控HDFS文件的增量【优化中】

目录1、需求和步骤2、项目结构3、项目代码 3.1建表语句 hdfs_Ctreate_table 3.2删除文件记录 hdfs_delete_file_record.py 3.3文件路径的小时监控 hdfs_path_Monitor.py 3.4文件路径的天监控 hdfs_path_Monitor_day.py 3.5文件大小记录 h

2017-08-03 17:55:02 4724

原创 Missing artifact jdk.tools:jdk.tools:jar:1.6

问题：Missing artifact jdk.tools:jdk.tools:jar:1.6 <dependency> <groupId>jdk.tools</groupId> <artifactId>jdk.tools</artifactId

2017-07-29 16:09:40 6546 1

原创 pycharm远程登录服务器执行

建立ssh连接，输入账户密码设置保存上传设置文件上传保存路径打开ssh与服务器建立连接结果展示

2017-07-28 10:11:35 2283

原创 HDFS常用命令

选项名称使用格式含义-ls -ls <路径> 查看指定路径的当前目录结构-lsr -lsr <路径> 递归查看指定路径的目录结构-du -du <路径> 统计目录下个文件大小-dus -dus <路径> 汇总统计目录下文件(夹)大

2017-07-26 12:43:16 1308

原创博客图片保存区

【友情推荐】更多大数据学习资源详细请咨询章鱼大数据，回复暗号：bd余辉微信交流群如果对我的博客感兴趣，扫描二维码关注我的【微信】和【微博】余辉微信公众号二维码余辉微博二维码余辉微信二维码章鱼大数据章鱼大数据

2017-07-17 22:14:16 770

原创 Python开发环境搭建和配置

目录：一、前期准备二、安装Python三、安装PyCharm四、 PyCharm创建项目五、 PyCharm配置———————————————————————————————一、前期准备百度云：http://pan.baidu.com/s/1kVsVcWZ二、安装Python验证Pythonwindows系统，运行——cmd，进入dos窗口，输入python，安

2017-07-17 14:38:46 1122

原创 Python工具类

本篇将介绍python中sys, getopt模块处理命令行参数如果想对python脚本传参数，python中对应的argc, argv(c语言的命令行参数)是什么呢？需要模块：sys 参数个数：len(sys.argv) 脚本名： sys.argv[0] 参数1： sys.argv[1] 参数2： sys.argv[2]文件名：paremters.py#!/usr

2017-07-13 14:38:29 1268

原创 python读文件read()、readline()、readlines()三个方法的区别

#!/usr/bin/python# -*- coding: UTF-8 -*-'''Created on 2017年7月13日@author: yuhui'''import time; # 引入time模块"""1、读取文件的三个方法：read()、readline()、readlines()2、三个方法均可接受一个变量用以限制每次读取的数据量，通常不使用该变量。""""""关

2017-07-13 11:26:03 2072

原创 Python模块之ConfigParser - 读写配置文件

目录：1、配置文件的格式2、Unicode 编码的配置3、allow_no_value4、DEFAULT section5、插值 Interpolation——————————————————————————————-1、配置文件的格式a) 配置文件中包含一个或多个 section，每个 section 有自己的 option；b) section 用 [sect_name] 表示，每个optio

2017-07-12 11:27:22 1008

原创 Java向文本指定行插入值

需求：使用Java在不覆写文本的情况下，指定将输入内容插入到指定行。思路：1、获取到写入内容的字节数，比如 Size = b.length() 2、使用Java中的RandomAccessFile类，获取写入的文本地址 3、通过randomAccessFile.seek()找到内容书写的定位 4、将定位以下的内容全部向下移动Size 字节 5、通过randomAccessFile.write

2017-07-11 09:28:39 6479

原创 JAVA Set 交集，差集，并集

/** * Created by yuhui on 2017/7/11 0011. */import java.util.HashSet;import java.util.Set;public class TestSet { public static void main(String[] args) { Set<String> result = new HashSet<

2017-07-11 09:04:49 109675 7

原创 python 移动文件或文件夹操作

目录：1、python中对文件、文件夹操作时经常用到的os模块和shutil模块常用方法2、文件操作方法大全3、目录操作方法大全————————————————————————————–1、python中对文件、文件夹操作时经常用到的os模块和shutil模块常用方法。1.得到当前工作目录，即当前Python脚本工作的目录路径: os.getcwd()2.返回指定目录下的所有文件和目录名:os.li

2017-07-10 17:02:09 111648

原创 2017年18岁的北京文科状元父母都是外交官，关于高考，他说出了我们竭力回避的戳心真相

条条大路通罗马，可是那个孩子，人家已经在罗马了。那些真正跑赢同龄人的年轻人，是拥有见识+知识+格局的结果。第一段：这两天看到北京市文科状元接受采访时说的话，觉得一个孩子，简简单单就说出了大人不愿意正视的问题。 “农村地区的孩子越来越难考上好学校，你像我这种，属于中产阶级家庭的（孩子），衣食无忧，家长也都是知识分子。而且还生在北京这种大城市，所以在教育资源上享受到这种得天

2017-07-03 09:28:54 4888

原创 ElasticSearch使用

目录1. ElasticSearch介绍2. RESTFul3. ES安装以及相关插件4. 倒排索引5. ES CRUD API6. mget 批量获取7. bluk 批量操作8. 版本控制version9. Mapping映射10. 基本查询11. filter查询12. 组合查询13. 集群管理——————————————————————————————–1.Elast...

2017-06-30 16:32:18 1277

原创 KafkaUtils.createStream接收数据流程

KafkaUtils.createStream接收数据流程

2017-06-30 08:20:48 4948

原创英文歌曲：Cherish the Lovey（珍惜爱）

Cherish the Love - The KatinasLet’s take a walk together near the ocean shore Hand in hand you and i Let’s cherish every moment we have been given For time is passing by I often pray before i lay d

2017-06-26 12:26:58 1610

原创选择排序--Java版

目录：1、介绍2、步骤3、排序效果4、代码展示5、结果展示————————————————————————————1、介绍选择排序(Selection sort)是一种简单直观的排序算法。它的工作原理如下。首先在未排序序列中找到最小（大）元素，存放到排序序列的起始位置，然后，再从剩余未排序元素中继续寻找最小（大）元素，然后放到已排序序列的末尾。以此类推，直到所有元素均排序完毕。2、步骤

2017-06-13 16:05:24 864

原创插入排序--Java版

目录：1、介绍：2、步骤：3、排序效果：4、代码展示：5、结果展现：———————————————————————————————————-1、介绍：插入排序（Insertion Sort）的算法描述是一种简单直观的排序算法。它的工作原理是通过构建有序序列，对于未排序数据，在已排序序列中从后向前扫描，找到相应位置并插入。插入排序在实现上，通常采用in-place排序（即只需用到O(1)

2017-06-13 15:46:40 940 2

原创算法复杂度分析

目录：1、为什么要进行算法分析？2、如何衡量算法复杂度？3、算法的运行时间与什么相关？4、算法分析的种类：5、试例解说——————————————————————————————————–1、为什么要进行算法分析？预测算法所需的资源计算时间（CPU 消耗）内存空间（RAM 消耗）通信时间（带宽消耗）预测算法的运行时间在给定输入规模时，所执行的基本操作数量。或者称

2017-06-13 10:27:50 1553

原创冒泡排序--Java版

目录：1、介绍：2、步骤：3、排序效果：4、代码展示5、结果展示————————————————————————————1、介绍：冒泡排序（Bubble Sort，台湾译为：泡沫排序或气泡排序）是一种简单的排序算法。它重复地走访过要排序的数列，一次比较两个元素，如果他们的顺序错误就把他们交换过来。走访数列的工作是重复地进行直到没有再需要交换，也就是说该数列已经排序完成。这个算法的名字由来是因为越小的

2017-06-07 16:59:25 959

原创 Java链表来存储二叉树和（前中后序）遍历二叉树--Java版

全二叉树展示前根序遍历：先遍历根结点，然后遍历左子树，最后遍历右子树。遍历的顺序为：ABDGHCEIF 2.中根序遍历：先遍历左子树，然后遍历根结点，最后遍历右子树。遍历的顺序为：GDHBAEICF3.后根序遍历：先遍历左子树，然后遍历右子树，最后遍历根节点。遍历的顺序为：GHDBIEFCA package com.datastructure;/** * Created by silentwo

2017-06-07 16:45:01 2635 2

原创二分查找--Java版

目录1、二分查找解释2、二分查找图解3、二分查找代码——————————————————————————————————1、二分查找解释算法思想：又叫折半查找，要求待查找的序列有序。每次取中间位置的值与待查关键字比较，如果中间位置的值比待查关键字大，则在前半部分循环这个查找的过程，如果中间位置的值比待查关键字小，则在后半部分循环这个查找的过程。直到查找到了为止，否则序列中没有待

2017-06-07 16:42:02 834

原创 Java连接hive报错01

这个错误是hive的版本的包导致的。java.sql.SQLException: Could not establish connection to jdbc:hive2://hadoop2:10000/default: Required field 'serverProtocolVersion' is unset! Struct:TOpenSessionResp(status:TStatus(st

2017-06-03 16:28:47 5508 3

原创 Mysql教程（二十一）---自定义Mysql连接池

目录：一、需求二、传统链接三、自定义连接池四、代码展现五、结果展现———————————————————————————————————一、需求自定义Mysql连接池，让多个Mysql的连接放在一个池内，每次用完就放回池内，避免过多连接Mysql。二、传统链接（如下为示意图）三、自定义连接池（示意图）四、代码展现package com.xiaoyu.cn;import java.sql.Co

2017-06-02 12:15:24 1019

原创 Mysql 忘记root密码的完美解决方法

目录：一、更改my.cnf配置文件二、更改root用户名————————————————————————————————————–一、更改my.cnf配置文件1.用命令编辑/etc/my.cnf配置文件，即：vim /etc/my.cnf 或者 vi /etc/my.cnf 2.在[mysqld]下添加skip-grant-tables，然后保存并退出3.重启mysql服务：service mys

2017-05-27 10:11:57 738

原创 CDH问题及维护汇总

目录：一、HIVE错误二、HDFS错误三、oozie错误四、Kafka错误五、Hbase错误六、Yarn和CM错误七、维护及添加服务八、其他错误————————————————————————————————————————————一、HIVE错误错误01命令详细信息: 创建 Hive Metastore 数据库表解决办法： cp -r /var/lib/hive/mysql-con

2017-05-22 19:21:27 17939 1

原创 Mysql安装innodb支持

注意：查看/tem文件权限是不是 777 ，再添加 install plugin innodb soname ‘ha_innodb.so’; ，它会在tmp文件中写一个文本，如果没有权限，则报出找不到文件错误。系统环境:linux数据库版本:mysql 5.1.47 需要要安装innodb类型支持先查看mysql是否安装了innodb插件[root@localhost bin]# ./

2017-05-22 18:46:22 2247

原创 Spark深入解读（四）---- 算子分类及功能描述

目录：一、简介二、Value型Transformation算子三、Key-Value型Transformation算子四、Actions算子————————————————————————————————————————–一、简介spark算子大致上可分三大类算子： 1、Value数据类型的Transformation算子，这种变换不触发提交作业，针对处理的数据项是Value型的数据

2017-05-22 13:38:31 3728

原创 Hive实战

目录：一、Hive是什么二、Hive与关系数据库的区别三、Hive架构介绍四、Hive的实战操作 1) HIVE的启动 2) Hive创建数据库 3) Hive删除数据库 4) 创建HIVE表添加数据 5) HIVE的分区 6) HIVE条件查询 7) UDF函数 8) 删

2017-05-09 09:57:14 5491

原创 Java集合综述

目录前言框架图代码展现—————————————————————————————————————-前言在书写程序的时候，我们常常需要对大量的对象引用进行管理。为了实现有效的归类管理，我们常常将同类的引用放置在同一数据容器中。由于数据容器中存放了我们随时可能需要使用到的对象引用，所以一般的数据容器要都要能能提供方便的查询、遍历、修改等基本接口功能。早期

2017-04-26 16:29:42 718

原创 Java中ArrayList和LinkedList区别

目录1、需求2、代码展现3、结果展现4、详解————————————————————————————————————————–1、需求通过程序实现：Java中ArrayList和LinkedList区别2、代码展现import java.util.ArrayList;import java.util.LinkedList;import java.util.List;public class Li

2017-04-26 10:32:01 724

原创 Phoenix 技术分享

目录1. Phoenix 安装2. Phoenix 升级3. phoenix 依赖打包方式4.二级索引使用5.优化6. 事务处理7.数据更新————————————————————————————————————-1. Phoenix 安装1)Maven 编译从如下地址获取相应版本源码 https://github.com/chiastic-security/phoenix-for-cloudera

2017-04-17 11:13:26 5927

原创 SparkStreaming在启动执行步鄹和DStream的理解

目录：SparkStreaming启动执行步鄹：DStream和Rdd的理解Linux中发送数据SparkStreaming代码如下结果展示：————————————————————————————————————————–SparkStreaming启动执行步鄹：1、加载SparkConf和StreamingContext 2、建立DStream接收器val lines = ssc.socket

2017-04-13 13:58:31 5149 1

原创 SparkStreaming实战

目录：一、Spark Streaming是什么二、Spark Streaming的A Quick Example三、Discretized Streams (DStreams)四、Dstream时间窗口五、Dstream操作六、Spark Streaming优化和特性——————————————————————————————————————–一、Spark Streaming是什么 S

2017-04-13 11:26:53 1510

原创区块链与大数据究竟有着怎样的关系？

今天，很多人还没弄懂大数据，区块链又来了。区块链与大数据究竟有着怎样的关系?看完本文的五大观点，你会认同赛智时代的这个结论：区块链让大数据汹涌而来。马云说过，这是一个变化的年代，当很多人还没有搞懂PC互联网的时候，移动互联网来了，当很多人还没弄懂移动互联网，大数据来了。而今天，很多人还没弄懂大数据，区块链又来了。区块链与大数据究竟有着怎样的关系?看完本文的五大观点，你会认同赛智时代的这

2017-04-06 10:41:44 2737

Mysql教程所有数据.zip

博客【北京小辉】中Mysql教程的所有加载数据。余辉，中科院硕士研究生毕业，专注于大数据领域多年。曾工作于清华大学、京东，现从事大数据讲师一职。博客地址：https://blog.csdn.net/silentwolfyh

2020-05-05

新概念2知识点.pdf

新概念2-课文名称和知识点，链接：https://blog.csdn.net/silentwolfyh/article/details/95083297

2019-09-06

crawlerBank.py

功能说明： 2、选择爬取代码说明： 1、如果没有参数，则抓取所有银行数据 1.1、抓取过程中如果有一家银行有错误，会邮件报警，且不影响其余银行抓取 2、如果有参数（参数只能有一个）且参数正确，则抓取对应银行数据 3、如果有参数（参数只能有一个）且参数操作，则停止运行，弹出正确参数列表 4、15家银行的银行名称、银行代码、银行URL如下所示：备注： 001 属于页面数据源在内嵌Iframe 002 属于页面数据源为json 008 属于页面数据源为js 010 属于页面数据源为xml

2019-07-08

Hive的Udf函数进行数据脱敏

udf开发–做个简单脱敏udf保留前5位，后面全部替换成*****

2019-01-26

sqoop的数据导入

2019-01-16

SpringBoot的mvc三层以及增删改查页面

demo说明 1、这个demo是一个springboot的样例。 2、MVC三层都弄好了,增删改查功能都能用。 3、Test中有Service层的测试方法参考地址:https://blog.csdn.net/silentwolfyh/article/details/84350966 参考地址:https://blog.csdn.net/silentwolfyh/article/details/83995563

2018-11-22

spring boot+mybatis整合

目录一、整体结构图二、Spring boot搭建三、整合Mybatis(自动生成工具) 1、集成druid，使用连接池 2、自动生成工具依赖和插件 3、最终的pom.xml文件： 4、在application.yml中添加数据源、Mybatis的实体和配置文件位置。 5、自动生成代码配置文件。 6、建立数据库和表 7、生产Dao层和entity类 8、建立controller层类 9、建立service层类 10、启动之后结果展示 --------------------- 作者：silentwolfyh 来源：CSDN 原文：https://blog.csdn.net/silentwolfyh/article/details/83995563 版权声明：本文为博主原创文章，转载请附上博文链接！

2018-11-12

Lucene实战(第2版).pdf

《lucene实战（第2版）》基于apache的lucene3.0，从lucene核心、lucene应用、案例分析3个方面详细系统地介绍了lucene，包括认识lucene、建立索引、为应用程序添加搜索功能、高级搜索技术、扩展搜索、使用tika提取文本、lucene的高级扩展、使用其他编程语言访问lucene、lucene管理和性能调优等内容，最后还提供了三大经典成功案例，为读者展示了一个奇妙的搜索世界。　　《lucene实战（第2版）》适合于已具有一定java编程基本的读者，以及希望能够把强大的搜索功能添加到自己的应用程序中的开发人员。lucene实战（第2版）》对于从事搜索引擎工作的工程技术人员，以及在java平台上进行各类软件开发的人员和编程爱好者，也具有很好的学习参考价值。

2018-08-28

SparkSql技术

目录一：为什么sparkSQL？ 3 1.1：sparkSQL的发展历程 3 1.1.1：hive and shark 3 1.1.2：Shark和sparkSQL 4 1.2：sparkSQL的性能 5 1.2.1：内存列存储（In-Memory Columnar Storage） 6 1.2.2：字节码生成技术（bytecode generation，即CG） 6 1.2.3：scala代码优化 7 二：sparkSQL运行架构 8 2.1：Tree和Rule 9 2.1.1：Tree 10 2.1.2：Rule 10 2.2：sqlContext的运行过程 12 2.3：hiveContext的运行过程 14 2.4：catalyst优化器 16 三：sparkSQL组件之解析 17 3.1：LogicalPlan 18 3.2：SqlParser 20 3.1.1：解析过程 20 3.1.2：SqlParser 22 3.1.3：SqlLexical 25 3.1.4：query 26 3.3：Analyzer 26 3.4：Optimizer 28 3.5：SpankPlan 30 四：深入了解sparkSQL运行计划 30 4.1：hive/console安装 30 4.1.1：安装hive/cosole 30 4.1.2：hive/console原理 31 4.2：常用操作 32 4.2.1 查看查询的schema 32 4.2.2 查看查询的整个运行计划 33 4.2.3 查看查询的Unresolved LogicalPlan 33 4.2.4 查看查询的analyzed LogicalPlan 33 4.2.5 查看优化后的LogicalPlan 33 4.2.6 查看物理计划 33 4.2.7 查看RDD的转换过程 33 4.2.8 更多的操作 34 4.3：不同数据源的运行计划 34 4.3.1 json文件 34 4.3.2 parquet文件 35 4.3.3 hive数据 36 4.4：不同查询的运行计划 36 4.4.1 聚合查询 36 4.4.2 join操作 37 4.4.3 Distinct操作 37 4.5：查询的优化 38 4.5.1 CombineFilters 38 4.5.2 PushPredicateThroughProject 39 4.5.3 ConstantFolding 39 4.5.4 自定义优化 39 五：测试环境之搭建 40 5.1：虚拟集群的搭建（hadoop1、hadoop2、hadoop3） 41 5.1.1：hadoop2.2.0集群搭建 41 5.1.2：MySQL的安装 41 5.1.3：hive的安装 41 5.1.4：Spark1.1.0 Standalone集群搭建 42 5.2：客户端的搭建 42 5.3：文件数据准备工作 42 5.4：hive数据准备工作 43 六：sparkSQL之基础应用 43 6.1：sqlContext基础应用 44 6.1.1：RDD 44 6.1.2：parquet文件 46 6.1.3：json文件 46 6.2：hiveContext基础应用 47 6.3：混合使用 49 6.4：缓存之使用 50 6.5：DSL之使用 51 6.6：Tips 51 七：ThriftServer和CLI 51 7.1：令人惊讶的CLI 51 7.1.1 CLI配置 52 7.1.2 CLI命令参数 52 7.1.3 CLI使用 53 7.2：ThriftServer 53 7.2.1 ThriftServer配置 53 7.2.2 ThriftServer命令参数 54 7.2.3 ThriftServer使用 54 7.3：小结 56 八：sparkSQL之综合应用 57 8.1：店铺分类 57 8.2：PageRank 59 8.3：小结 61 九：sparkSQL之调优 61 9.1：并行性 62 9.2：高效的数据格式 62 9.3：内存的使用 63 9.4：合适的Task 64 9.5：其他的一些建议 64 十：总结 64

2018-08-16

TA关注的人

Mysql教程所有数据.zip

新概念2知识点.pdf

crawlerBank.py

Hive的Udf函数进行数据脱敏

sqoop的数据导入

SpringBoot的mvc三层以及增删改查页面

spring boot+mybatis整合

Lucene实战(第2版).pdf

SparkSql技术

MacBook Pro的快捷键

hadoop-Apache2.7.3+Spark2.0集群搭建

SqlServer驱动包

silentwolf

stable-diffusion-webui启动报错

微博对一条微博进行评论API

调用JEECG微博发帖API异常

mac版本idea中路径颜色设置