自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

L

通俗

  • 博客(146)
  • 收藏
  • 关注

原创 徒手实践深度学习完整项目(一)——图像识别(基于深度学习框架TensorFlow2.0、Keras,含构建原理、代码和部署细节)

目录CIFAR-10数据集简介项目环境项目实践项目部署CIFAR-10数据集简介 官网下载地址:《CRFAR-10数据集》 CIFAR-10数据集由Alex Krizhevsky, Vinod Nair和Geoffrey Hinton收集。如图:一共包含10 个类别的RGB 彩色图片:飞机( airplane )、汽车( aut...

2020-04-17 20:42:40 242

原创 word2vec和doc2vec模型详解及应用

词袋模型(Bag of Word Model) 将所有词语装进一个袋子里,不考虑其词法和语序的问题,即每个词语都是独立的。例如如下2个例句:Jane wants to go to Shenzhen.Bob wants to go to Shanghai.就可以构成一个词袋,袋子里包括{ Jane,wants,to,go,Shenzhen,Bob,Shangh...

2020-04-11 19:13:03 395

原创 Java死锁分析(jstack、jconsole、JProfiler、Linux和Windows)

死锁代码示例/** * Created by leboop on 2019/1/16. */public class DeadLock implements Runnable { private String a = ""; private String b = ""; public DeadLock(String a, String b) { ...

2019-01-16 22:29:52 645

转载 模拟登录(Python)

"""模拟登录"""import requestsfrom lxml import etreeEMAIL = '********'PASSWORD = '********'class Login(object): def __init__(self): self.session = requests.Session() self.head...

2019-01-14 18:58:00 1264 1

原创 验证码识别(Python)

图形验证码识别        图形验证码最早出现,也很常见,一般由4个字母或者数字组成。例如,中国知网注册页面采用的就是图形验证码,链接为http://my.cnki.net/elibregister/commonRegister.aspx,页面如下:该注册页面表单最后一项就是图形验证码,必须正确输入图形验证码才可以完成注册。该图形验证码其实是一张图片,上面是经过变形的4个大写字母,并...

2019-01-10 13:06:13 444

原创 机器学习之支持向量机SVM(理论基础)

本文符号约定参见《 机器学习之矩阵微积分及其性质》。考虑如下一般形式的约束优化问题(constrained optimization problem):                                                                                                                        ...

2018-12-22 01:44:52 1895

原创 Linux系统安装Python3环境(超详细)

本文基于如下Linux系统版本:1、默认情况下,Linux会自带安装Python,可以运行python --version命令查看,如图:我们看到Linux中已经自带了Python2.7.5。再次运行python命令后就可以使用python命令窗口了(Ctrl+D退出python命令窗口)。2、查看Linux默认安装的Python位置看到/usr/bin/python...

2018-12-05 14:31:15 85696 30

原创 Spark 2.3.0 Structured Streaming详解

 一、什么是Structured Streaming       结构化流(Structured Streaming)是一个建立在Spark SQL引擎之上可扩展且容错的流处理引擎。你可以使用与静态数据批处理计算相同的方式来表达流计算。当不断有流数据到达时,Spark SQL引擎将会增量地、连续地计算它们,然后更新最终的结果。最后,系统通过检查点和预写日志的方式确保端到端只执行一次的容错保证。...

2018-08-13 21:29:19 7684 1

原创 MapReduce Configuration.deprecation (Configuration.java:warnOnceIfDeprecated(1173))

写了一个mapreduce程序,控制台输出如下:2020-07-19 19:13:06,845 INFO [main] Configuration.deprecation (Configuration.java:warnOnceIfDeprecated(1173)) - session.id is deprecated. Instead, use dfs.metrics.session-id2020-07-19 19:13:06,849 INFO [main] jvm.JvmMetrics (Jv..

2020-07-19 19:19:00 179

原创 gson+mapreduce解析Json数据保存到多个文件中(Json含多层嵌套数组)

直接上代码。涉及技术点:- Json解析成关系型数据表结构- MapReduce多文件输出- 消除MapReduce默认文件输出格式(1)FileOutputFormatpackage com.leboop.www.json;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.NullWritable;import org.apache.hadoop.io.Text;import org.apache.ha

2020-07-18 16:48:55 107

原创 gson解析Json后保存到关系数据库表中(Json含多层嵌套对象数组)

首先需要设计Json解析后保存的关系型数据库表结构,包括主表,附表,各表的主键和外键;解析详细代码如下:package jsonparser;import com.google.gson.JsonArray;import com.google.gson.JsonElement;import java.io.BufferedReader;import java.io.File;import java.io.FileReader;import java.util.*;/** *.

2020-07-18 14:59:25 127

原创 Java枚举类如何关联常值?

如下两个类,EventType和KeeperState,是ZooKeeper源码中枚举类的实现方法: public enum EventType { // 事件类型 // 无 None (-1), // 结点创建 NodeCreated (1), // 结点删除 NodeDeleted (2), // 结点数据变化 .

2020-07-03 00:03:31 179

原创 JAXBContext注解方式解析XML

config.xml内容如下:<?xml version="1.0" encoding="UTF-8"?><sql> <thread>1</thread> <jsonfiles> <jsonfile> <id>2</id> <name>zs</name> </jsonfile&gt

2020-07-02 23:48:13 151

原创 MapReduce如何去除reducer阶段,如何去除map的排序?

以WordCount为例,假设已经按正常情况编写了Mapper和Reducer,主程序中job如下设置:Job job = Job.getInstance(conf,"Word-Count");job.setJarByClass(WordCountMain.class);job.setMapperClass(WordCountMapper.class);job.setReducerClass(WordCountReducer.class);job.setOutputKey...

2020-06-30 22:51:43 110

原创 Job jar is not present. Not adding any jar to the list of resources

eclipse开发mapreduce程序,本地可以正常运行,使用eclipse打包上传到Linux上,使用hadoop jar命令执行,报错如下:[root@single test]# hadoop jar salarysum.jar hdfs://single:9000/input/emp.txt /outputSLF4J: Class path contains multiple SLF4J bindings.SLF4J: Found binding in [rsrc:org/slf4j/im.

2020-06-27 21:32:47 178

原创 oozie自定义action,以操作mysql为例(工作回忆录)

目录创建java项目添加依赖自定义action定义schema项目打包oozie-site.xml添加配置job.propertiesworkflow.xml测试本文以oozie-5.2.0.tar.gz为例。创建java项目使用IDEA开发工具创建一个java项目,目录结构如图:添加依赖jdom-1.1.jaroozie-client-5.2.0.jaroozie-core-5.2.0.jar这三个包在oozie安装目录的lib目录.

2020-06-21 22:22:04 129

原创 Linux安装oozie(填坑手记)

原文链接本文安装oozie版本:oozie-5.2.0.tar.gzoozie官网安装系统要求:Unix box (tested on Mac OS X and Linux) Java JDK 1.8+ Maven 3.0.1+ Hadoop 2.6.0+ Pig 0.10.1+maven安装1、下载下载地址:apache-maven-3.6.3-bin.tar.gz2、解压执行如下命令,解压到/opt目录下:tar -zxvf /root/...

2020-06-20 12:21:50 392 4

翻译 Flink术语表(Glossary)

原文链接Flink Application Cluster Flink应用程序集群是一个专用的Flink集群(Flink Cluster),它只执行一个Flink作业。Flink集群的生存期与Flink作业的生存期绑定。以前的Flink应用程序集群也称为作业模式下的Flink集群。与Flink会话集群相比。Flink Cluster 由一个Flink主进程(Flink Master)和一个或多个Flink TaskManager进程组成的分布式系统。...

2020-06-17 15:02:02 95

翻译 Flink分布式运行环境(Distributed Runtime Environment)

目录任务和操作算子链(Tasks and Operator Chains)作业管理器、任务管理器和客户端(Job Managers, Task Managers, Clients)任务槽和资源(Task Slots and Resources)状态后端(State Backends)保存点(Savepoints)原文链接任务和操作算子链(Tasks and Operator Chains) 对于分布式执行,Flink将操作算子子任务(operator subta...

2020-06-17 14:37:07 107

翻译 Flink数据流编程模型(Dataflow Programming Model)

抽象层次(Levels of Abstraction) Flink提供了不同层次的抽象来开发流/批处理(streaming/batch)应用程序。如下:抽象级别从低到高依次是:Stateful Stream Processing —> DataStream/DataSet API —> Table API —> SQL。(1)Stateful Stream Processing 它是整个抽象的最底层,通过过程函数(Process Fun...

2020-06-16 16:35:45 178

原创 Spark提交任务到yarn上报错:is running beyond virtual memory limits

spark版本:spark-2.4.5-bin-hadoop2.7.tgzhadoop版本:hadoop-2.7.3.tar.gz使用spark-submit将spark自带的一个example提交到yarn上执行,命令如下:spark-submit \--class org.apache.spark.examples.SparkPi \--master yarn \/opt/spark/examples/jars/spark-examples_2.11-2.4.5.jar...

2020-06-09 20:51:26 153

原创 一个例子让你明白Scala中的call by name和call by value

先看一个例子def get(x:Int):Int={println(s"$x")x}def getByValue(y:Int):Int={x+x}def getByName(y: =>Int):Int={x+x}getByValue(get(1))getByName(get(2))(1)get方法该方法传入x,先打印x,然后将x作为返回值。(2)getByValue和getByName这两个方法定义非常相似,参数写法不同,getByName参...

2020-05-30 18:09:07 121

原创 大数据生态HA(全)

目录Hadoop HANameNode FederationHBase HAStorm HAFlink HA先安装好ZooKeeper。Hadoop HA1、集群规划host HDFS Yarn ZK HA bigdata111 NameNode SecondaryNameNode ResourceManager QuorumPeerMain bigdata112 DataNode...

2020-05-28 18:13:45 134

原创 Java设计模式(十五)之访问者模式(Visitor)

本文以学校领导访问学生和教师为例介绍。被访问者首先抽象被访问者的“可被访问”特征,然后定义两个具体的被访问者“教师”和“学生”,如下:/** * Created by leboop on 2020/5/26. * 该接口对被访问者的“可访问性”进行抽象 */public interface IVisitable { /** * 表示接受访问者访问 * @param visitor 访问者 */ void accept(IVisitor...

2020-05-26 15:51:14 115

原创 Java设计模式(十四)之状态模式(State)

本文以十字路口红绿灯为例介绍。红绿灯有3个颜色,我们使用如下Color枚举类来表示:/** * Created by leboop on 2020/5/26. */public enum Color { RED, GREEN, YELLOW}红绿灯有三个状态:红灯状态,绿灯状态和黄灯状态,先抽象出三个状态的抽象类State,然后再分别定义三个具体的状态类RedState,GreenState,YellowState,分别如下:/** * Created by lebo...

2020-05-26 14:28:46 102

原创 Java设计模式(十三)之组合模式(Composite)

本文以磁盘杀毒为例介绍。先定义一个磁盘接口,如下:/** * Created by leboop on 2020/5/26. */public interface Disk { String name = ""; void add(Disk disk); void remove(Disk disk); void kill();}给磁盘杀毒的本质,是给磁盘下的每个目录杀毒,所以下面我们定义一个文件目录类,如下:/** * Created b...

2020-05-26 12:36:36 86

原创 Java设计模式(十二)之适配器模式(Adapter)

本文以JDK源码为基础介绍。FileInputStream,InputStreamReader,BufferedReader。

2020-05-26 10:42:34 76

原创 Java设计模式(十一)之装饰模式(Decorator)

本文以JDK中IO流源码为基础介绍。被装饰者/** * Created by leboop on 2020/5/25. */public abstract class MyInputStream { public abstract int read(String content);}MyInputStream是被装饰者超类,具备读取各种设备的数据功能。MyFileInputStream是MyInputStream的实现类,如下:/** * Created by l...

2020-05-25 18:19:05 85

原创 Java设计模式(十)之代理模式(Proxy)

目录静态代理动态代理cglib代理静态代理/** * Created by leboop on 2020/5/25. */public interface IStar { void sing(String songName);}/** * Created by leboop on 2020/5/25. */public class PopStar implements IStar { @Override public void sing(St

2020-05-25 16:45:01 61

原创 Java设计模式(九)之责任链模式(Chain)

目录Request和ResponseFilterFilterChainMain 在tomcat的catalina.jar和servlet-api.jar源码中使用了责任链模式,本文以该源码的简化版为例介绍。模拟客户端请求过滤处理和响应原理。Request和Response 先定义请求Request和Response实体类,如下:/** * Created by leboop on 2020/5/25. */public class Requ...

2020-05-25 13:17:12 69

原创 Java设计模式(八)之观察者模式(Observer)

本文以JDK源码介绍。观察者Observerpublic interface Observer { void update(Observable o, Object arg);}被观察者Observablepublic class Observable { private boolean changed = false; private Vector<Observer> obs; public Observable() {...

2020-05-24 14:42:57 80

原创 Java设计模式(七)之迭代器模式(Iterator)

目录自定义ArrayList自定义LinkedList自定义Collection自定义Iterator和Iteratable Iterator模式在Java的集合框架中有使用。本文尽量使用源码解释Iterator模式。自定义ArrayList 我们先自定义MyArrayList类,如下:package main.design_pattern.iterator;import java.util.Arrays;/** * Created b...

2020-05-24 13:23:53 50

原创 Java设计模式(六)之模板模式(Template)

TemplateMethod是指在抽象类或者接口中定义一系列操作的框架,而将具体的操作交给子类来实现,使得子类可以在不改变框架的结构下可重定义框架的具体步骤细节。比如Runnable接口中的run方法就可以看成是一种模板方法,该方法定义了线程运行的框架,run中具体执行什么样的逻辑,交给子类来实现。下面以客户去银行办理业务为例介绍。客户去银行办理业务通常由如下几个步骤:(1)取号排队;(2)办理业务;(3)评价服务;/** * Created by leboop on...

2020-05-24 09:56:07 88

原创 Java设计模式(五)之建造者模式(Builder)

目录重叠构造器JavaBeansBuilder模式 建设现在有一个实际问题:使用一个类表示包装食品外面显示的各种营养标签。这些标签中有几个属性是必须:每份的含量和每份的卡路里。还有超过20个可选的属性:总脂肪量、钠含量、蛋白质含量等等。大多数产品在某几个可选的属性中会有非零的值。对于这样的类,如何构建呢?重叠构造器 如下我们使用很多个构造器实现了该类:/** * Created by leboop on 2020/5/24. */public ...

2020-05-24 09:14:56 59

原创 Java设计模式(四)之原型模式(Proto)

目录对象拷贝浅拷贝深拷贝原型模式对象拷贝 Person类定义如下:/** * Created by leboop on 2020/5/23. */public class Person { private String name; private Integer age; private City city; public Person(String name, Integer age, City city) { ...

2020-05-23 23:40:31 68

原创 Java设计模式(三)之策略模式(Strategy)

假设现在有一个实体类Person,代码如下:/** * Created by leboop on 2018/11/18. */public class Person { private String name; private Integer age; public Person(String name, Integer age) { this.name = name; this.age = age; }...

2020-05-23 21:42:07 95

原创 Java设计模式(二)之工厂模式(Factory)

目录简单工厂静态工厂抽象工厂简单工厂先创建两个类Car和Bike,看成是工厂要生成的两类产品,代码如下:/** * Created by leboop on 2020/5/23. */public interface Movable { void go();}/** * Created by leboop on 2020/5/23. */public class Car implements Movable{ @Override pub

2020-05-23 14:32:43 82

原创 Flink任务提交

目录界面方式命令方式测试代码如下:package wordcountimport org.apache.flink.api.java.utils.ParameterToolimport org.apache.flink.streaming.api.scala._/** * Created by leboop on 2020/5/19. */object StreamWordCount { def main(args: Array[String]): Unit = {

2020-05-20 11:21:56 312 1

原创 IDEA搭建Flink开发环境及WordCount

1、创建一个Maven项目并配置Java SDK和Scala SDK,如图:这里选择的是jdk1.8和scala2.12版本。2、添加pom依赖<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" ...

2020-05-19 23:13:54 488

原创 Linux安装Flink

1、下载flink-1.9.3-bin-scala_2.11.tgz2、解压tar -zxvf flink-1.9.3-bin-scala_2.11.tgz -C /opt/解压到/opt/目录下3、配置环境变量打开配置文件:vi /etc/profile配置内容如下:# Flinkexport FLINK_HOME=/opt/flink-1.9.3export PATH=$FLINK_HOME/bin:$PATH保存配置:source/etc...

2020-05-19 15:32:52 230

空空如也

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人 TA的粉丝

提示
确定要删除当前文章?
取消 删除