- 博客(25)
- 收藏
- 关注
RSS订阅原创 大数据工程师的通关攻略
大数据工程师的通关攻略大数据时代下，大数据工程师如何应对？平台型大于业务行大数据工程师所需的核心技能大数据团队构成以及岗位职责简介Hadoop生态研发工程师（平台工程师）对Hadoop生态组件很了解，精度开源框架源码，对业务平台支撑，适合技术极客的人。Java/Scala大数据开发工程师灵活使用大数据技术解决业务问题了解大数据工具使用原理Java/Scala...
2019-03-26 22:57:44
414
原创 0x01 Spring MVC源码阅读环境搭建
SpringMVC 源码调试环境搭建0x01 依赖环境JDK 1.8Gradle 4.4.1GitIntellJ IDEA0x02 下载源码到本地，导入IDEAhttps://github.com/spring-projects/spring-framework这里建议fork到自己仓库，便于翻看源码添加注释0x03 构建编译顺序1.直接导入IDEA* Where...
2019-03-14 00:04:52
1012
原创 Spark Streaming 进阶与案例实战
Spark Streaming 进阶与案例实战 Spark Streaming 进阶与案例实战1.带状态的算子: UpdateStateByKey2.实战：计算到目前位置累积出现的单词个数写入到MySql中1.create tableCREATE TABLE `wordcount` ( `word` VARCHAR(50) NO...
2018-10-29 22:29:00
212
原创 Spark Streaming核心概念与编程
Spark Streaming核心概念与编程 Spark Streaming核心概念与编程1. 核心概念StreamingContextCreate StreamingContextimport org.apache.spark._import org.apache.spark.streaming._val conf = new...
2018-10-28 23:49:00
273
原创 分布式日志收集框架Flume
分布式日志收集框架Flume 分布式日志收集框架Flume1.业务现状分析WebServer/ApplicationServer分散在各个机器上想在大数据平台Hadoop进行统计分析日志如何收集到Hadoop平台上解决方案及存在的问题如何解决我们的数据从其他的server上移动到Hadoop之上？shell: cp -->...
2018-10-28 23:45:00
183
原创 Spark Streaming入门
Spark Streaming入门 1. Spark Streaming入门1. 概述Spark Streaming is an extension of the core Spark API that enables scalable(Spark Streaming是基于Spark Core的扩展)high-throughput(高可用...
2018-09-19 22:59:00
357
原创 hadoop3.1.0 HDFS快速搭建伪分布式环境
hadoop3.1.0 HDFS快速搭建伪分布式环境 1.环境准备CenntOS7环境JDK1.8-并配置好环境变量下载Hadoop3.1.0二进制包到用户目录下2.安装Hadoop1.解压移动#1.解压tar.gztar -zxvf hadoop-3.1.0.tar.gz#2.将hadoop.tar.gz 移动到usr目...
2018-04-26 23:01:00
218
原创 Security 安全框架1
Security 安全框架1 security过滤器链检查请求是否有请求信息-主要校验规则UsernamePasswordAuthenticationFilter: 处理表单登录, 请求是否带用户名密码BasicAuthenticationFilter: 是否有Basic码信息, 有会...
2018-04-11 14:28:00
122
原创 Spring Web Async异步处理#Callable #DeferredResult
Spring Web Async异步处理#Callable #DeferredResult Spring MVC 对于异步请求处理的两种方式场景: Tomcat对于主线程性能瓶颈，当Tomcat请求并发数过多时，当线程数满时，就会出现请求等待Tomcat处理，这个时候可以使用子线程处理业务逻辑，主...
2018-04-11 13:25:00
174
原创 java.io.FileNotFoundException:file:\D:\code\xml-load\target\XX.jar!\XXX(文件名、目录名或卷标语法不正确。)...
java.io.FileNotFoundException:file:\D:\code\xml-load\target\XX.jar!\XXX(文件名、目录名或卷标语法不正确。) 1.当使用Spring Boot将应用打成jar时，需要读取resources目录下配置文件时，通常使用ClassLoad...
2018-01-18 09:45:00
576
原创 Maven plugin插件---appassembler-maven-plugin快速配置
Maven plugin插件---appassembler-maven-plugin快速配置 使用appassembler-maven-plugin 打包自定义目录1.Pom中添加 <plugin> <artifactId>maven-reso...
2018-01-03 15:50:00
857
原创 Linux 开放端口
Linux 开放端口 允许防火墙开放80端口sudo firewall-cmd --zone=public --add-port=80/tcp --permanent重启防火墙sudo systemctl restart firewalld.service查看已开放的端口...
2017-12-27 23:21:00
138
原创 Vue directive自定义指令+canvas实现H5图片压缩上传-Base64格式
Vue directive自定义指令+canvas实现H5图片压缩上传-Base64格式 前言 最近优化项目-手机拍照图片太大，回显速度比较慢，使用了vue的自定义指令实现H5压缩上传base64格式的图片canvas自定义指令Vue.directive("canvas", { ...
2017-12-01 21:58:00
153
原创 Django templates加载css/js/image等静态资源
Django templates加载css/js/image等静态资源 配置步骤：1.首先在应用下面创建static目录 2.将静态资源拷贝进去 3.在应用的settings.py文件中添加import osBASE_PATH = os.path.dirname(os.path.absp...
2017-10-14 22:31:00
512
原创 python django-admin startproject django-admin命令未找到
python django-admin startproject django-admin命令未找到 在使用pip install安装django后使用django-admin生成项目失败解决办法1.配置环境变量-在系统环境变量path添加后运行 D:\Program Files (x86...
2017-10-11 23:11:00
509
原创 Dubbo client 启动报错：No provider available for the service use dubbo version 2.5.3
Dubbo client 启动报错：No provider available for the service use dubbo version 2.5.3 1.异常java.lang.IllegalStateException: Failed to check the status of t...
2017-09-29 22:07:00
311
原创 SVN错误记录
SVN错误记录 1.SVN错误：Attempted to lock an already-locked dir发生这个错误多是中断提交导致了，执行clear后可修复右键项目--->team--->清理--->完成--->如果没好建议换父级目录重试2. ...
2017-09-28 09:52:00
98
原创 关于选择排序和快速排序--2017-09-24
关于选择排序和快速排序--2017-09-24 1.前言因为开始习惯使用印象笔记，所以好久没更新博客了，以后会计划每月固定整理四篇博客，一方面锻炼下写作能力，同时希望能够帮到别人。#####大概从基础开始把-算法数据结构到源码解析-暂时就这样定了。2.关于算法的重要性首先，其实现在大多...
2017-09-24 22:36:00
135
原创 Spring quantz--定时任务调度工具
Spring quantz--定时任务调度工具 1.在xml中交给spring管理的一些类<bean id="cancelOrderJobDetail" class="org.springframework.scheduling.quartz.MethodInvokingJobDetailF...
2017-07-09 19:56:00
141
原创 Java使用zxing生成解读QRcode二维码
Java使用zxing生成解读QRcode二维码 1.maven的pom配置jar包，如果不实用maven请手动下载jar包<dependency> <groupId>com.google.zxing</groupId> <artifact...
2017-07-09 19:47:00
160
原创 Vue.js的小例子--随便写的
Vue.js的小例子--随便写的 1.领导安排明天给同事们科普下vue 2.简单写了两个小例子 3.话不多说直接上代码<!DOCTYPE html><html> <head> <meta charset="UTF-8">...
2017-06-20 22:03:00
112
原创 使用Jcrop-canvas画布-制作前端图像裁剪
使用Jcrop-canvas画布-制作前端图像裁剪 写在前面 –公司有这个需求，安排调查 –目前各大网站都是采用的-前端做裁剪返回坐标-由后端来做到裁剪 –而使用html-canvas画布可以直接前端裁剪并返回base64流-ajax可以直接下载保存上代码： 注意配置好依赖-有一张png图...
2017-05-11 23:24:00
363
原创 ko绑定----记录
ko绑定----记录 1.绑定变量globalData = ko.observable({item:{}});2.绑定htmlko.applyBindings(globalData, document.getElementById('_bindDemo'));注：这里document可...
2017-04-18 21:51:00
246
原创 Windows使用Node.js自动生成Vue.js模版环境部署步骤-----记录
Windows使用Node.js自动生成Vue.js模版环境部署步骤-----记录 node.js官网下载并安装node进入node文档目录下，运行cmd 输入 node -v 查看node版本 出现表示安装完成输入 npm -v 显示npm版本信息安装cnpm 输入 npm in...
2017-04-02 00:36:00
191
原创 MyBatis实现拦截器分页功能
MyBatis实现拦截器分页功能 1.原理在mybatis使用拦截器（interceptor），截获所执行方法的sql语句与参数。 （1）修改sql的查询结果：将原sql改为查询count(*) 也就是条数 （2）将语句sql进行拼接 limit(MySql)或rownum(...
2017-03-09 23:32:00
255
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人