Java对String类型的时间进行加减操作

String time = "2018-08-04 02:30:00"; SimpleDateFormat df = new SimpleDateFormat("yyyy-MM-dd HH:mm:ss"); Calendar calendar = Ca...

2019-06-20 20:03:46

阅读数 15

评论数 0

Spring框架介绍

Spring框架—控制反转(IOC) 1 Spring框架概述 1.1 什么是Spring Spring是一个开源框架,Spring是于2003 年兴起的一个轻量级的Java 开发框架,由Rod Johnson 在其著作Expert One-On-One J2EE Development a...

2019-02-25 09:48:48

阅读数 37

评论数 0

PySpark中的UDFs函数

我们在用python原生的函数来处理迭代我们的数据,但是我们发现在处理一个比较大的dataframe可能会花费我们很久的时间。所以如果我们拥有一个集群,那么如何在集群上通过Pyspark来加速我们的处理速度呢?换句话说我们如何将python函数转化成Spark的用户自定义函数(UDF)呢? ...

2019-02-02 11:41:26

阅读数 145

评论数 0

spark streaming与kafka整合

Spark 2.2和2.3支持0.8和0.10两种Kafka API,而且0.8版本的API可以和Kafka Broker 0.9 及0.10兼容,但0.10版本的API不能与Kakka 0.8兼容。两个版本Kafka API的功能对比如下: 由此可知,相对于0.8版本,Kafka API ...

2019-01-30 09:07:49

阅读数 90

评论数 0

Spark Streaming Kafka

Spark Streaming 可以⽀持多种数据源,但目前最常用的还是 Kafka 作为数据源。 Spark Streaming的kafka编程主要包括两种模型 1.基于Receiver模式 2.Direct(无Receiver)模式   基于Receiver (spark-stre...

2019-01-16 10:50:56

阅读数 71

评论数 0

Kafka offset管理

Kafka offset管理 消费者在消费的过程中需要记录自己消费了多少数据,即消费 Offset。Kafka Offset 是Consumer Position,与 Broker 和 Producer 都无关。每个 Consumer Group、每个 Topic 的每个Partition 都有...

2019-01-10 09:40:37

阅读数 1097

评论数 0

Java应用线上故障排除

线上运行的Java应用突然没有响应、响应缓慢,进程突然消失,遇到这些情况应该如何应对呢? 今天教大家如何应对在线故障!    转载于: 原文地址:http://www.rowkey.me/blog/2018/11/22/online-debug...

2019-01-01 09:21:37

阅读数 130

评论数 0

远程IDE无法连接kudu

客户端测试kudu出错 Exception in thread "main" org.apache.spark.SparkException: Job aborted due to stage failure: Task 0 in stage 2.0 fail...

2018-12-28 14:21:49

阅读数 555

评论数 0

通过jupyter远程连接CDH(pyspark)

1. 在CDH上安装Anaconda Parcel(离线或者远程安装anaconda parcel) 下载Anaconda Parcels,下载符合自己的版本及其sha文件 将下载好的文件上传至你的CDH parcels库,一般位置在 /opt/cloudera/parcel-repo 进入...

2018-12-12 15:58:53

阅读数 252

评论数 0

RPC远程调用

客户端通过定义接口,通过动态代理的方式向服务端请求运行结果,服务端通过解析字符串,来解析所要调用接口、方法、参数,并将接口实现的结果通过Socket的方式返回给客户端。 1.    服务端将接口通过map的方式映射成方法名和接口类,并启动socket连接。 package server;...

2018-11-19 16:32:10

阅读数 65

评论数 0

启动HIVE报错Exception in thread "main" java.lang.RuntimeException: org.apache.hadoop.hive.ql.metadata

https://ask.hellobi.com/blog/bigdata/10251 解决办法: [hadoop@master2 conf]$ schematool -dbType mysql -initSchema 格式化mysql

2018-08-28 15:17:31

阅读数 1637

评论数 0

HBase对比HDFS

什么是HDFS(Hadoop分布式文件系统):HDFS允许以分布式和冗余方式存储大量数据。 HDFS组件 • NameNode • DataNode NameNode:NameNode可以被视为系统的管理者。它维护系统文件树以及系统中存在的所有文件和目录的元数据。...

2018-08-24 16:12:39

阅读数 5511

评论数 1

Spark Streaming-Kafka实例(Python与Java版本)

本文实现kafka与Spark Streaming之间的通信,其中Kafka端producer实现使用Java,Spark Streaming端Consumer使用Python实现。 首先安装kafka与spark streaming环境,kafka测试连通测试参考上文,本文的实验环境都为本地单...

2018-08-17 11:18:42

阅读数 260

评论数 0

Angular路由拦截

对于未登入的用户,无法访问其他模块,当点击其他功能模块时跳转到登入界面 在app-routing.modle.js中加入拦截 const routes: Routes = [ { path: '**', component: ***, canActivate: ...

2018-08-01 19:48:20

阅读数 1158

评论数 0

quickfix协议实例

客户端 目录结构 log4j.properties #file name: log4j.properties app.log.home=/wls/apache/applogs/Pagi_qer app.name=PAGI-QER log4j.appender.CONSOLE=org...

2018-08-01 14:51:51

阅读数 1008

评论数 0

量化交易学习笔记(一) ---- 量化交易基本名词概念

量化交易基本名词概念 三大经典指标 1.夏普比率(Shape Ratio),也称夏普指数,它指的是投资回报与风险的比例。夏普比率代表投资人每多承担一份风险,就可以拿到几份回报,若为正值,代表基金报酬率高于波动风险;若为负值,代表基金操作风险大于报酬率。比例越高,投资组合越佳。 2.詹森指...

2018-06-16 16:43:40

阅读数 1132

评论数 0

matplotlib学习(二)

#image图片 #image data a = np.array([0.313660827978, 0.365348418405, 0.423733120134, 0.365348418405, 0.439599930621, 0.525083754405, ...

2018-01-13 15:23:06

阅读数 218

评论数 0

matplotlib库学习(一)

#matplotlib模块学习 import matplotlib.pyplot as plt import numpy as npx = np.linspace(-5,5,50) y1 = 2*x + 1 y2 = x**2#画一个直线 plt.figure() plt.plot(x,y1) p...

2018-01-10 20:25:01

阅读数 237

评论数 0

基于keras的深度学习——分类

使用keras的深度学习来分类白葡萄酒还是红葡萄酒 首先介绍一下数据类型: 1.这个数据集包含了1599种红酒,4898种白酒; 2.输入数据特征: 1 - fixed acidity 2 - volatile acidity 3 - citric acid ...

2018-01-08 16:57:14

阅读数 6162

评论数 3

Pandas学习(二)

import pandas as pd import numpy as np #处理丢失数据 dates = pd.date_range('20180107',periods=6) df = pd.DataFrame(np.arange(24).reshape((6,4)),index = dat...

2018-01-07 22:40:34

阅读数 172

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭