SparkStreaming 搭建《一》Win10可通用,供参考

是在本地windows配的,具体的如何配置其实要搞的麻烦事很多,多百度吧。 编译环境: Spark2.3.1 scala2.11.8 jdk1.8 hadoop2.6.5 hive1.2.2 kafka1.1.0 Hbase1.4.5   一、新建工程:File-scala-i...

2018-08-16 14:52:31

阅读数 563

评论数 0

模仿[一个] 制作的Android app<三>

测试豆瓣api,这里调用了豆瓣TOP250,还有正在热映 的api接口。并且结合了Rxjava 还有Rxtrofit具体用法如下 这是封装的一个网络调用的基础类。 1.首先编写一个apiService接口工厂。 public interface MovieApiService { ...

2017-03-26 14:37:12

阅读数 598

评论数 0

模仿[一个] 制作的Android app<一>

写一段博客整理一下自己,前段时候模仿豆瓣做了一个简单的app,简单来说根据豆瓣api 从网站上获取最新数据,包括豆瓣电影,豆瓣图书,豆瓣音乐。作为一个大学生,以前在宿舍的时候就是抱着豆瓣Top250为信仰,啃完了它的榜单电影。查了一些资料,发现用豆瓣的接口也不是那么难。贴一下自己写的一个简单的页面...

2017-03-25 20:21:33

阅读数 1724

评论数 2

MySQL-explain讲解

本文转载自博主:https://blog.csdn.net/jiadajing267/article/details/81269067 除select,其他比如insert,update和delete均可以使用explain查看执行计划,从而知道mysql是如何处理sql语句,分析查询语句或者表...

2019-07-12 13:16:03

阅读数 2

评论数 0

tomcat7只支持jdk1.7及以下,若是jdk1.8则需要用tomcat8及以上

org.apache.catalina.LifecycleException: Failed to start component [StandardE. 工作中出的错,应该牢记。

2019-03-05 17:00:59

阅读数 3806

评论数 0

Shell脚本学习《一》

在公司有很多地方都会用到shell脚本,用来跑spark程序或者用来写脚本进行数据批处理。 介绍一下,shell 1.shell简介 Shell本身是一個用C語言編寫的程序,它是用戶使用Unix/Linux的橋梁,用戶的大部分工作都是通過Shell完成的。Shell既是一種命令語言,又是一種...

2019-03-01 10:56:20

阅读数 33

评论数 0

try catch 异常

转载自该博客,分析的比较详尽 https://www.cnblogs.com/wcf6676/p/4905909.html

2019-02-27 18:46:46

阅读数 74

评论数 0

Mysql基础-数据库表的查询操作(重要)

      序言           1、MySQL表操作(创建表,查询表结构,更改表字段等),           2、MySQL的数据类型(CHAR、VARCHAR、BLOB,等),           本节比较重要,对数据表数据进行查询操作,其中可能大家不熟悉的就对于INNER JOI...

2019-01-02 17:43:02

阅读数 88

评论数 0

Mysql高性能优化第六章 查询优化

背景: 查询优化基础: 查询的生命周期大致可以按照顺序如下来看:从客户端、服务器、然后在服务器上解析,生成执行计划,执行,并将返回结果给客户端。其中执行是生命周期中最重要的阶段。 Mysql查看慢查询的指标: 响应时间:服务时间和排队时间,服务时间是指数据库处理这个查询花了多少时间,排队时...

2018-12-31 16:15:18

阅读数 52

评论数 0

高性能索引笔记-第五章

1.B+树索引特点 综合前面的文章介绍,b+树索引的最大的两个优点,一个是所有的数据存放在叶子节点上;另一个是叶子节点之间是都有指针,所以也支持顺序查询,笔记快。 B-Tree索引的限制: 例:创建的索引包含last_name,first_name,dob列  如果不是按照最左列开始查找,...

2018-12-31 15:32:08

阅读数 66

评论数 0

mysql中的B+树索引

转自http://blog.csdn.net/u013235478/article/details/50625677 B+树索引是B+树在数据库中的一种实现,是最常见也是数据库中使用最为频繁的一种索引。B+树中的B代表平衡(balance),而不是二叉(binary),因为B+树是从最早的平衡二...

2018-12-31 13:30:03

阅读数 77

评论数 0

Mysql查询语句执行过程及运行原理

Mysql查询语句执行原理 数据库查询语句如何执行? DML语句首先进行语法分析,对使用sql表示的查询进行语法分析,生成查询语法分析树。 语义检查:检查sql中所涉及的对象以及是否在数据库中存在,用户是否具有操作权限等 视图转换:将语法分析树转换成关系代数表达式,称为逻辑查询计划; 查...

2018-10-22 22:36:21

阅读数 2629

评论数 0

数据分类《二》贝叶斯分类

本博客是参考《数据仓库与数据挖掘技术》以及诸多道友的blog。仅作为自己学习的一个总结。 贝叶斯分类是一种基于统计学的分类方法,可以预测一个类成员关系的可能性。数据挖掘主要使用两种分类,朴素贝叶斯和贝叶斯网络方法。前者使用贝叶斯进行预测,后者是一个带有注释的有向无环图,以有效表示大变量集的联合概...

2018-10-22 12:48:25

阅读数 391

评论数 0

数据分类(一)决策树

背景知识: Classification是一个从现有的带有类别的数据集中寻找同一类别数据的共同特征,并以这些特征为依据对新数据进行区分的过程。 分类决策树的核心思想就是在一个数据集中找到一个最优特征,然后从这个特征的选值中找一个最优候选值(这段话稍后解释),根据这个最优候选值将数据集分为两个子...

2018-10-22 09:46:41

阅读数 127

评论数 1

KMP算法

  一:背景展开目录 给定一个主串(以 S 代替)和模式串(以 P 代替),要求找出 P 在 S 中出现的位置,此即串的模式匹配问题。 Knuth-Morris-Pratt 算法(简称 KMP)是解决这一问题的常用算法之一,这个算法是由高德纳(Donald Ervin Knuth)和沃恩 ·...

2018-09-07 10:54:31

阅读数 28

评论数 0

Druid系列《三》集群

  4.1集群安装 集群配置的规划需要根据需求来定制,下面以一个开发环境机器搭建为例,描述如何搭建一个有HA特性的Druid集群. 集群部署有以下几点需要说明  1. 为了保证HA,主节点部署两台  2. 管理节点与查询节点可以考虑多核大内存的机器 部署规划 角色 ...

2018-08-31 10:46:44

阅读数 306

评论数 0

Druid系列 《二》Druid使用与安装

  2.1加载数据到Druid Druid支持流式(实时)和基于文件(批量)的数据提取方式。最常用的配置是: Files - 通过HDFS、S3、本地文件或者任何支持hadoop文件系统批量加载数据。如果你的数据集已经在这类文件系统中推荐使用这个方法。 Stream push - 使用Tr...

2018-08-31 10:45:35

阅读数 908

评论数 0

Druid实践系列《一》

一、Druid介绍... 2 1.1官方介绍... 2 1.2架构:... 3 1.3 Data Storage and Segment 4 1.4数据... 5 1.4查询过程... 7 二、Druid使用... 7 2.1加载数据到Druid. 7 2.1.1加载静态数据......

2018-08-31 10:42:52

阅读数 294

评论数 0

java开启子线程的方法及优化

1.new Thread的弊端 执行一个异步任务你还只是如下new Thread吗? 1 2 3 4 5 6 7 new Thread(new Runnable() {        @Override...

2018-08-22 14:54:09

阅读数 2230

评论数 0

Scala中的Option方法和GetOrElse

对于some来说: 如果some指定了一个数,那从这里面取getOrElse方法结果都是该指定的数,若Option为空,则取出的getOrElse值是后面的指定的值,与option无关。就是一个默认的缺省值一样。 Option[Int]是类型 Int的容器,更确切地说,你可以把它看作是...

2018-08-20 15:47:18

阅读数 718

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭