自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

小强签名设计 的博客

真正牛逼的生活是既可以朝九晚五又可以浪迹天涯

  • 博客(245)
  • 资源 (22)
  • 论坛 (2)
  • 收藏
  • 关注

原创 豆瓣最新国产电影Top10

我这里整理了下豆瓣目前来说排名最高的国产电影Top10Top1经典台词:1.真虞姬,假霸王2.不疯魔不成活(巩俐当时颜值爆表啊)经典画面:Top2经典台词:1.曾经有一份真挚的爱情摆在我的面前,可是我没有珍惜,等到失去的时候才后悔莫及,尘世间最痛苦的事莫过于此.如果上天可以让我再来一次的话,我会对那个女孩子说三个字:我爱你.如果要给这份爱加一个期限,我希望是一万年.2.我的意中人是个盖世英雄,有一...

2018-02-04 12:27:53 1916

原创 换个眼界,换种心情

大家刚看我博客的时候肯定会好奇,为什么要起这个昵称呢,难道你会签名设计不成??? 在下不才,曾经在大学期间做过一段时间的签名设计,也就是小打小闹,体验了下过程罢了,不过经历还是值得回忆的。 以下是我的一些作品,不为别的,就为作为IT的我们换个眼界,没必要整天眼中都是代码什么的,放松一下心情吧。登录新浪微博可...

2017-07-23 15:30:44 1004

原创 SQL语句整理三--hive

文章目录创建数据库:使用数据库:重命名表名:建表时判断该表是否存在:查询某个表的分区信息:展示表结构:desc命令:将生成的结果导入到一个文件中:datediff,date_add和date_sub:创建数据库:create database jiuyebu;使用数据库:use jiuyebu;重命名表名:ALTER TABLE FaRen_JiChuShuJu141 RENAME TO FaRen_JiChuShuJu;建表时判断该表是否存在:create table if not

2021-07-13 14:30:29 38

原创 Scala学习

文章目录一、Windows下安装Scala一、Windows下安装Scala  Scala是一种类似Java的纯面向对象的函数式编程语言,由于函数具有明确的确定输入对确定输出的关系,所以适合推理和计算,一切函数都可以看成一系列的计算组成,另外由于Scala函数是没有副作用和透明的,所以非常适合做多核并行计算和云计算,现在正被越来越多的应用到生产中  因为Scala运行在JVM上,所以应该首先配置好JDK环境,然后下面是Windows安装Scala环境的过程:  首先去官网http://www.sca

2021-07-05 18:53:05 33

原创 中台概念总结

文章目录一、前言二、概述三、什么是数据中台四、数据处理需求的演进历程五、数据中台和数据仓库、数据平台的区别六、结尾一、前言  现在各种新名词层出不穷,顶层的有数字城市、智慧地球、智慧城市、城市大脑;  企业层面的有数字化转型、互联网经济,数字经济、数字平台;  平台层面的有物联网,云计算,大数据,5G,人工智能,机器智能,深度学习,知识图谱;  技术层面的有数据仓库、数据集市、大数据平台、数据湖、数据中台、业务中台、技术中台等等,总之是你方唱罢他登场,各种概念满天飞… 二、概述  

2021-06-29 17:28:24 35

原创 数仓概念总结

文章目录一、数据仓库1.什么是数据仓库:2.技术发展历程:3.数据仓库特点:4.OLAP和OLTP的区别:参考:数仓基础概念一、数据仓库1.什么是数据仓库:  数据仓库,英文名称为Data Warehouse,关于数据仓库概念的标准定义业内认可度比较高的,是由数据仓库之父比尔·恩门(Bill Inmon)在1991年出版的“Building the Data Warehouse”(《建立数据仓库》)一书中所提出:数据仓库(Data Warehouse)是一个面向主题的(Subject Oriente

2021-06-24 22:52:53 70

原创 厨神之路九--群英荟萃2

文章目录一、灯笼虾一、灯笼虾煮虾:等锅中水开倒入虾,再放入生姜片和料酒去腥用,煮个三五分钟捞出即可。土豆泥制作:土豆(大约150克)削皮切片煮熟或者蒸熟(用小刀可以轻易戳穿土豆块即可)。再加入2茶匙黄油,倒入20ml牛奶,适量盐和黑胡椒,我这里还用到了豌豆和玉米粒(后来感觉完全没必要用),碾碎即可。这个做土豆泥最大的左右就是用来黏合虾的排盘,考虑到家常性也可以用米饭来代替。排盘:将土豆泥揉成两个球放在盘中,将虾头去掉,虾皮剥掉,依次在土豆泥球上摆一圈。红青椒圈切完之后可能不好看可以再用小刀修饰

2021-06-15 22:05:31 41

原创 大数据篇--Spark常见面试题总结二

文章目录一、Spark作业资源的设置情况二、DataFrame/Dataset/RDD的区别及编程三、Spark中的隐式转换的作用:结合Scala来学习一、Spark作业资源的设置情况二、DataFrame/Dataset/RDD的区别及编程三、Spark中的隐式转换的作用:结合Scala来学习...

2021-06-08 12:45:24 33

原创 大数据篇--Spark常见面试题总结一

文章目录一、Spark on YARN两种方式的区别以及工作流程1.Yarn组件简介:2.spark on yarn cluster 模式:3.spark on yarn client 模式:一、Spark on YARN两种方式的区别以及工作流程1.Yarn组件简介:ResourceManager:负责整个集群的资源管理和资源分配NodeManager:每个节点的资源和任务的管理器,负责启动和停止Container,并监视资源使用情况ApplicationMaster:Yarn中每个Appli

2021-06-02 12:24:47 97 1

原创 大数据篇--数据倾斜

文章目录一、什么是数据倾斜一、什么是数据倾斜  简单的讲,数据倾斜就是我们在计算数据的时候,数据的分散度不够,导致大量的数据集中到了一台或者几台机器上计算,造成数据热点问题(数据倾斜的另一种说法),这些数据的计算速度远远低于平均计算速度,导致整个计算过程过慢。现象:大部分的task都非常快速的处理完成,只有极少数的task处理的非常慢,这种状况很可能就是数据倾斜了。对于Spark可以在WEB-UI的job=>stage=>task里看,你可以把task处理的数据量排序一下。上面场景下

2021-06-01 12:41:11 57

原创 大数据篇--Kafka数据丢失、重复与消息顺序保证

文章目录一、Kafka如何实现每秒上百万的超高并发写入二、数据重复1.Consumer重复消费数据:三、数据丢失四、Kafka的优化建议1.broker端:一、Kafka如何实现每秒上百万的超高并发写入  Kafka 是高吞吐低延迟的高并发、高性能的消息中间件,在大数据领域有极为广泛的运用。配置良好的 Kafka 集群甚至可以做到每秒几十万、上百万的超高并发写入。可参考这篇文章:页缓存技术 + 磁盘顺序写 + 零拷贝技术二、数据重复1.Consumer重复消费数据:  底层根本原因:已经消费了数据

2021-05-30 17:52:42 51 1

原创 厨神之路八--煎炸类

文章目录一、炸馒头片一、炸馒头片1:取个大碗放入面粉和水调成面糊。 2:把馒头切成片,大小薄厚根据自己喜好。 3:切好的馒头片在面糊的碗里裹层面糊。 4:锅里烧油,七成热把裹好面糊的馒头片放入,炸的馒头片表面金黄即可捞出。 5:准备利民蒜蓉辣酱和甜面酱(1:1)混合均匀后制成馒头刷酱,再撒上孜然粉辣椒粉。趁热吃。香脆辣。...

2021-05-29 18:57:14 27

原创 大数据篇--SparkStreaming调优

文章目录一、流处理数据Sink到目的地的N种错误操作1.序列化异常:2.高性能写结果数据:一、流处理数据Sink到目的地的N种错误操作pom.xml添加依赖: <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-streaming_2.11</artifactId> <v

2021-05-28 22:37:29 51

原创 大数据面试总结

文章目录1.Redis的数据类型有哪些1.Redis的数据类型有哪些  Redis支持五种数据类型:string(字符串),hash(哈希),list(列表),set(集合)及zset(sorted set:有序集合)。

2021-05-27 12:04:06 43

原创 大数据篇--Spark调优

文章目录一、算子的合理选择1.map和mappartition:2.foreach和foreachpartition:一、算子的合理选择pom.xml内容:<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:

2021-05-26 12:44:02 108 1

原创 大数据篇--Hive调优

文章目录一、参数调优1.严格模式:2.Fetch Task功能:3.reduce个数控制:4.map join:二、语法层面调优1.order by和sort by:2.cluster by和distribute by:3.执行计划Explain:一、参数调优1.严格模式:  在hive里面可以通过严格模式防止用户执行那些可能产生意想不到的查询,从而保护hive的集群。在严格模式下,用户在运行如下query的时候会报错:分区表的查询没有使用分区字段来限制使用了order by 但没有使用limi

2021-05-24 12:40:50 91

原创 大数据篇--SQL on Hadoop

文章目录一、SQL on Hadoop业界常用框架二、SQL on Hadoop调优策略三、架构层面调优四、语法层面调优五、执行层面调优六、SQL案例实战一、SQL on Hadoop业界常用框架二、SQL on Hadoop调优策略三、架构层面调优四、语法层面调优五、执行层面调优六、SQL案例实战...

2021-05-18 21:37:09 89

原创 大数据篇--小文件

文章目录一、小文件定义二、为什么会有小文件1.数据迁移过程中:2.处理源头文件:3.处理过程中产生:三、小文件给Hadoop集群带来的瓶颈问题四、如何解决小文件1.Hadoop中:一、小文件定义  小文件是指文件大小明显小于 HDFS 上块(block)大小(Hadoop1.x中默认64MB,在Hadoop2.x中默认为128MB)的文件。二、为什么会有小文件  Hadoop中的目录、文件、block都会以元数据(MetaData)的方式存储下来的,他们每一个的元数据大小还是不一样的,如果感兴趣的话

2021-05-18 14:51:13 54

原创 大数据篇--HDFS

文章目录一、准备工作一、准备工作首先安装好Zookeeper:在pom.xml中添加: <dependency> <groupId>org.apache.zookeeper</groupId> <artifactId>zookeeper</artifactId> <version>3.4.5</version> &

2021-05-14 23:18:51 64

原创 大数据篇--分布式锁

文章目录一、分布式锁的应用场景二、分布式锁的实现有哪些1.Memcached分布式锁:2.Redis分布式锁:3.Chubby:4.Zookeeper分布式锁:三、分布式锁的实现思路四、分布式锁的实现(下订单的Springboot程序)一、分布式锁的应用场景  为了保证一个方法或属性在高并发情况下的同一时间只能被同一个线程执行,在传统单体应用单机部署的情况下,可以使用Java并发处理相关的API(如ReentrantLock或Synchronized)进行互斥控制。在单机环境中,Java中提供了很多并发

2021-05-14 14:16:09 83 3

原创 Linux篇--高频常用命令

文章目录一、检索内容(grep)二、内容处理(awk)三、内容替换(sed)一、检索内容(grep)我们先准备两个文件:[root@192 mnt]# cat hehe1.txt hello worldhello hadoophello hive[root@192 mnt]# cat hehe2.txt I love you!Hello world.查询带有ve的内容:管道操作符|:多个指令连接起来,前一个指令的结果作为下一个指令的输入grep -v:是反向查找的意思,比如 g

2021-05-13 22:59:55 4900 21

原创 Java篇--JVM三(垃圾回收GC)

文章目录一、垃圾回收算法1.判定对象是否是垃圾的标准2.判定对象是否是垃圾的算法(1)引用计数算法(2)可达性分析算法3.谈谈你所了解的垃圾回收算法(1)标记-清除算法:Mark and Sweep(2)复制:Copying(3)标记-整理算法:(4)分代收集算法:二、垃圾收集器1.串行收集器:Serial Collector2.并行收集器:Parallel Collector3.并发收集器:Concurrent Collector一、垃圾回收算法1.判定对象是否是垃圾的标准一个对象有没有被其他对象所

2021-04-30 09:24:00 41

原创 Java篇--JVM二(内存结构)

文章目录一、垃圾回收算法1.判定对象是否是垃圾的标准2.判定对象是否是垃圾的算法(1)引用计数算法(2)可达性分析算法3.谈谈你所了解的垃圾回收算法(1)标记-清除算法:Mark and Sweep(2)复制:Copying(3)标记-整理算法:(4)分代收集算法:二、垃圾收集器1.串行收集器:Serial Collector2.并行收集器:Parallel Collector3.并发收集器:Concurrent Collector一、垃圾回收算法1.判定对象是否是垃圾的标准一个对象有没有被其他对象所

2021-04-28 22:17:12 45

原创 Java篇--JVM一

文章目录一、classloader概述及分类一、classloader概述及分类

2021-04-23 12:12:43 56

原创 Java篇--多线程三

文章目录一、生产者和消费者实现二、可重入锁实现一、生产者和消费者实现Clothes.java:package com.xiaoqiang.interview.thread;/** * Created by Huiq on 2021/4/22. */public class Clothes { private String name; private String sex; public synchronized void set(String name, Stri

2021-04-22 20:42:34 26

原创 Java篇--多线程二

一、生产者和消费者

2021-04-18 21:49:39 30

原创 Java篇--多线程一

文章目录一、两种创建方式1.继承Thread类2.实现Runnable接口一、两种创建方式1.继承Thread类2.实现Runnable接口

2021-04-13 13:16:44 68

原创 Java篇--反射和注解综合使用

文章目录自定义简单版ORMapping框架:自定义简单版ORMapping框架:在mysql中创建相应的表:create table t_user( id int not null auto_increment, name varchar(10) not null, age int not null, birth_day date, primary key(id));...

2021-04-11 22:49:23 34

原创 Java篇--注解

文章目录注解:1.Annotation的一个定义及如何标识在一个类上(1)定义一个Annotation:(2)标识在一个类上:2.如何获取这个类上的注解3.给字段定义一个Annotation注解:JDK5引入的新特性注解可以大大提升编码效率以及代码的精简注解可以使用在package/Class/Field/Method上定义:通过@interface关键字进行定义public @interface MyTestAnnotation {}1.Annotation的一个定义及如何标识在

2021-04-11 19:16:50 35

原创 Java篇--反射

1.使用反射来获取构造器(getConstructor/getConstructors)2.使用指定的构造器实例化对象(newInstance)   反射之method详解

2021-04-07 23:09:18 51

原创 专栏导航篇

一、前言:  大数据中很多框架Hadoop、Hive、Hbase、Elasticsearch、Storm、Spark、Flink等都支持java来开发的,所以说对于java基础的考察也是必不可少的。对于大数据这块所需要的java知识也不是非常多,但是开发的话javase是必须要掌握的。  下面这些虽然是属于java篇,但是与大数据框架的一个调优是息息相关的。1.反射:  反射是一切框架的一个根源,如果没有反射那么所有框架就无从谈起。2.注解:  在工作中,经常情况下注解和反射是要结合起来使用的。

2021-03-31 22:52:25 62

原创 互联网座右铭

光干不说傻把式,光说不干假把式。面试造飞机,工作拧螺丝。

2021-03-31 14:02:31 38

原创 各组件经典例子wordcount总结

面试中总会有那么几个奇葩让默写一下Wordcount的代码也是醉了,所以在这里就总结一下吧。[hadoop@h71 q1]$ vi hello.txthello worldhello hadoophello hivehello hadoophello worldhello world[hadoop@h71 q1]$ hadoop fs -mkdir /input[hadoop@h71 q1]$ hadoop fs -put hello.txt /input一、hadoop2版本:源码

2021-03-26 13:29:01 51

原创 Spring Boot与数据访问六--整合JPA

一、引入JPA可以在一开始创建项目的时候就勾选JPA模块也可以直接在pom.xml文件中添加配置 <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-data-jpa</artifactId> </dependency>用图

2021-03-22 23:27:12 61 1

原创 Spring Boot与数据访问五--整合MyBatis(配置版)

引入MyBatis可以在一开始穿件项目的时候就勾选MyBatis模块也可以直接在pom.xml文件中添加配置 <dependency> <groupId>org.mybatis.spring.boot</groupId> <artifactId>mybatis-spring-boot-starter</artifactId> <version>

2021-03-17 22:42:07 58 2

原创 Spring Boot与数据访问三--整合Druid

在pom.xml文件中添加配置引入durid数据源 <dependency> <groupId>com.alibaba</groupId> <artifactId>druid</artifactId> <version>1.1.9</version> </dependency>在配置文件applicatio

2021-03-15 23:01:15 60

原创 Spring Boot与数据访问二--使用原生JDBC及源码解析

数据源的相关配置都在DataSourceProperties里面:自动配置原理:在包org.springframework.boot.autoconfigure.jdbc下面1、参考DataSourceConfiguration,根据配置创建数据源,默认使用hikari连接池,可以使用spring.datasource.type指定自定义的数据源类型。2、SpringBoot默认可以支持:oracle.ucp.jdbc.PoolDataSource、org.apache.commons.dbcp2

2021-03-14 15:27:14 73

原创 Python模块学习--uuid

>>> import uuid>>> # make a UUID based on the host ID and current time>>> uuid.uuid1()UUID('a8098c1a-f86e-11da-bd1a-00112444be1e')>>> # make a UUID using an MD5 hash of a namespace UUID and a name>>> uuid

2021-03-14 09:23:53 49

原创 Spring Boot与数据访问一--Spring Data介绍

简介  对于数据访问层,无论是SQL还是NOSQL,Spring Boot默认采用整合Spring Data的方式进行统一处理,添加大量自动配置,屏蔽了很多设置。引入各种xxxTemplate,xxxRepository来简化我们对数据访问层的操作。对我们来说只需要进行简单的设置即可。  Spring Data是整个Spring技术栈中的一个项目  Spring Data不止能访问关系型数据库,也能访问非关系型数据库  我们要使用数据访问的功能,就得导入相应的Starters(场景启动器),我们

2021-03-10 21:39:23 96 3

原创 Spring Boot与数据访问四--整合MyBatis(注解版)

一、创建一个SpringBoot项目二、引入相关依赖 <!--web核心依赖--> <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-web</artifactId> </dependency&gt

2021-02-26 17:26:11 88 1

apache-maven-3.3.9-bin.zip

apache-maven-3.3.9

2017-08-08

大数据设计方案.docx

当公司想开展大数据的时候,前期的规划文档很重要,也可能领导会给你安排这个任务,该文档可供参考。

2021-06-30

解析json的jar包

Java解析json格式数据所需的jar包,这里给了三种方式的jar包,org.json、json-lib和gson

2017-11-17

flumee.zip

文章《利用Flume拦截器(interceptors)实现Kafka Sink的自定义规则多分区写入》所需的代码和jar包。这里吐槽一下CSDN,上传个文件还必须填这填那的,不填还不行,关键词长度还超出了限制,烦不烦人啊。。。。。。。。。

2017-08-03

oozie所需的js包文件

安装oozie所需的js包文件和mysql驱动。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。

2017-09-14

flume自定义功能实现代码

http://blog.csdn.net/m0_37739193/article/details/78779052这篇文章中所需的代码

2017-12-12

OpenDetectorDeveloperGuide.pdf(中文版)

去snort官网可以下载OpenDetectorDeveloperGuide.pdf,这里翻译成了中文版

2018-02-07

sqlite所需的包

文章《Sqlite3的安装及应用》中所需要的安装包,jdbc包等

2017-11-23

flume断点续传

http://blog.csdn.net/m0_37739193/article/details/78779686这篇文章方法二所需的代码

2017-12-12

ganglia安装所需rpm包

ganglia安装所需rpm包

2017-08-23

flume-ng-1.6.0-cdh5.5.2-src.tar.gz

flume-ng-1.6.0 cdh5.5.2源码包

2017-08-08

Snort_3.0.0-a4-241_on_Ubuntu_14_and_16.pdf

从snort官网下载的,译文可参考我的博客文章http://blog.csdn.net/m0_37739193/article/details/79290631

2018-02-09

Myeclipse 10.x 2013 2014 破解补丁

Myeclipse 10.x 2013 2014 破解补丁

2017-07-18

google-collections-1.0.jar

import com.google.common.collect.Lists;所需的jar包

2017-07-10

winutils.exe

解决报错:Could not locate executable null\bin\winutils.exe in the Hadoop binaries所需的工具

2017-07-26

elasticsearch-2.2.0.tar.gz

elasticsearch-2.2.0.tar.gz 。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。

2017-09-19

jsoup-1.10.2.jar

jsoup

2017-06-21

httpcomponents-client-4.5.3-bin.tar.gz

httpclint所需的jar包

2017-06-21

mysql源码安装脚本

mysql源码安装所需要的脚本

2017-08-21

GIF动画录制工具

GIF动画录制工具,该软件小巧精悍功能强大,非常的棒。写个摘要还非要大于一百个字,我也是醉了,都没的可吹了。。。。。

2017-09-06

protobuf-2.5.0.tar.gz

protobuf-2.5.0.tar.gz

2017-07-17

博客微信网页授权文章所需

博客微信网页授权文章所需。

2018-12-16

如何用Java的AIO实现udp的接收

发表于 2017-11-03 最后回复 2020-03-19

小强签名设计的留言板

发表于 2020-01-02 最后回复 2020-01-02

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人 TA的粉丝

提示
确定要删除当前文章?
取消 删除