自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

泰格数据

我们不生产数据,我们只是数据的搬运工,我们不仅是数据的搬运工,也是数据价值的创造者

  • 博客(9)
  • 资源 (9)
  • 收藏
  • 关注

转载 RDD JAVA API 用法指南

1.RDD介绍:    RDD,弹性分布式数据集,即分布式的元素集合。在spark中,对所有数据的操作不外乎是创建RDD、转化已有的RDD以及调用RDD操作进行求值。在这一切的背后,Spark会自动将RDD中的数据分发到集群中,并将操作并行化。    Spark中的RDD就是一个不可变的分布式对象集合。每个RDD都被分为多个分区,这些分区运行在集群中的不同节点上。RDD可以包含Python

2016-06-29 13:13:10 20184 4

转载 Spark JAVA RDD API 最全合集整理,持续更新中~

SPARK的核心就是RDD,对SPARK的使用入门也就是对RDD的使用,对于JAVA的开发者,Spark的RDD对JAVA的API我表示很不能上手,单单看文档根本是没有办法理解每个API的作用的,所以每个SPARK的新手,最好按部就班直接学习scale,那才是一个高手的必经之路,但是由于项目急需使用,没有闲工夫去学习一门语言,只能从JAVA入门的同学,福利来了

2016-06-29 10:35:56 24626 2

原创 HADOOP+SPARK安装

0.Spark的安装准备Spark官网的文档 http://spark.apache.org/docs/latest/ 里是这样说的:Spark runs on Java 7+, Python 2.6+ and R 3.1+. For the Scala API, Spark 1.6.0 uses Scala 2.10. You will need to use a compa

2016-06-27 16:43:26 567

原创 Spark+ECLIPSE+JAVA+MAVEN windows开发环境搭建及入门实例【附详细代码】

本文旨在记录初学Spark时,根据官网快速入门中的一段Java代码,在Maven上建立应用程序并实现执行。首先推荐一个很好的入门文档库,就是CSDN的Spark知识库,里面有很多spark的从入门到精通的形形色色的资料,1.开发软件恭喜你,拿到spark驾考名额了,可以开始参加驾校培训了~http://lib.csdn.net/base/spark 大概理解下:spark主要分为 1.核心 2.实时streaming 3.对sql支持sparksql 4.机器学习mllib 还有

2016-06-18 22:35:40 14293 3

转载 动态规划问题实例讲解

代码实现在https://github.com/Jensenczx/CodeEveryday维基百科对动态规划的定义动态规划(英语:Dynamic programming,简称DP)是一种在数学、计算机科学和经济学中使用的,通过把原问题分解为相对简单的子问题的方式求解复杂问题的方法。动态规划常常适用于有重叠子问题[1]和最优子结构性质的问题,动态规划方法所耗时间往往远少于朴素解法。动态规划

2016-06-07 16:20:31 943

转载 五大常用算法

五大常用算法之一:分治算法分治算法一、基本概念   在计算机科学中,分治法是一种很重要的算法。字面上的解释是“分而治之”,就是把一个复杂的问题分成两个或更多的相同或相似的子问题,再把子问题分成更小的子问题……直到最后子问题可以简单的直接求解,原问题的解即子问题的解的合并。这个技巧是很多高效算法的基础,如排序算法(快速排序,归并排序),傅立叶变换(快速傅立叶变换)……    任何一个

2016-06-06 22:30:34 511

转载 动态规划算法

五大常用算法之二:动态规划算法一、基本概念    动态规划过程是:每次决策依赖于当前状态,又随即引起状态的转移。一个决策序列就是在变化的状态中产生出来的,所以,这种多阶段最优化决策解决问题的过程就称为动态规划。二、基本思想与策略    基本思想与分治法类似,也是将待求解的问题分解为若干个子问题(阶段),按顺序求解子阶段,前一子问题的解,为后一子问题的求解提供了有用的信息。在求解任一

2016-06-06 22:30:04 241

转载 spark实例演示

1、实例演示1.1 流数据模拟器1.1.1 流数据说明在实例演示中模拟实际情况,需要源源不断地接入流数据,为了在演示过程中更接近真实环境将定义流数据模拟器。该模拟器主要功能:通过Socket方式监听指定的端口号,当外部程序通过该端口连接并请求数据时,模拟器将定时将指定的文件数据随机获取发送给外部程序。1.1.2 模拟器代码import java.io.{PrintWriter}

2016-06-06 22:29:16 935

转载 Spark Streaming原理介绍

1、Spark Streaming简介1.1 概述Spark Streaming 是Spark核心API的一个扩展,可以实现高吞吐量的、具备容错机制的实时流数据的处理。支持从多种数据源获取数据,包括Kafk、Flume、Twitter、ZeroMQ、Kinesis 以及TCP sockets,从数据源获取数据之后,可以使用诸如map、reduce、join和window等高级函数进行复杂算

2016-06-06 22:28:26 2802

华为垃圾分类大赛亚军答辩PPT

 19年不务正业,入门跟着福大师学习CV领域,刚好看到参加华为垃圾分类CV赛,有幸获得一个亚军,比赛过去有点久了,具体的代码内容就不再分享,分享下当时答辩的PPT,有兴趣的同学欢迎探讨! pS:CV界调包侠和调参侠特别吃香,小厂辛辛苦苦研究心的算法可能新开源的一个直接完爆你的研究。这真的是一项重资产的工程,大部分场景拼的是数据和资源。 在数据和资源不平等的条件下,考虑算法实在是太难为科学家了!   技巧总结 1、10比赛9融合五折交叉、十折交叉后融合,效果特别好 2、模型的尝试和选择非常重要,不同的数据和任务模型差异非常大, 并不是根据github或者论文对比里面的准确度。 3、融合的方式:加权平均、几何平均,靠上分尝试,在每天有剩余次数 的情况下,做更多的融合尝试 4、融合模型之间的差异性,数据处理的差异性,模型基础网络的差异性。(MIC融合) 5、后处理TTA,将图片多次处理后预测后融合。

2020-05-31

HIVE环境搭建及常用操作

用于HIVE入门的介绍,包括hive是什么,hive的安装部署详细步骤,hive的数据类型及常用的操作

2016-08-29

Redis开发环境搭建及常用命令

非常完整的一个REDIS文档输出 包括: redis简介 安装步骤 数据类型 数据导入 性能优化参数 API说明

2016-07-18

Java编码规范

Java编码规范 分为四部分讲解: 1.文件和注释规范 2.命名规范 3.编码风格规范 4.常见写法注意

2016-07-18

hbase-0.92.1+zookeeper

hbase-0.92.1

2016-03-19

hadoop-0.20.2-eclipse-plugin.jar

hadoop0.20.2的eclipse插件

2016-03-19

Teradata SQL基础教程

第一章关系数据库基础 1 11关系数据库模型 1 12键的定义 4 13范式理论 6 14逻辑模型与物理模型 7 15索引 8 16关系数据库操作语言 11 161 数据定义语言 11 162 数据操作语言 12 163 数据控制语言 12 164 其它 12 17数据字典/目录 13 第二章 TERADATASQL基础 14 21 TERADATA中支持的数据类型 14 22 TERADATA中SQL命令分类 15 23 TERADATA中会话层的建立 17 第三章数据库试验环境 23 第四章帮助系统 28 41 HELP命令 28 411 对数据库对象的帮助信息 28 412 对数据库连接(或会话)的帮助信息 33 413 对SQL语法的联机帮助信息 35 42 SHOW命令 35 43 EXPLAIN命令 38 练习 39 第五章逻辑与条件表达式 42 II 51逻辑表达式运算符 42 52逻辑表达式 43 521 [NOT] BETWEENAND 43 522 集合操作符[NOT] IN 45 523 匹配符LIKE 46 53 NULL的使用 50 54条件表达式 52 541 AND 52 542 OR 53 543 多个AND OR 53 544 优先级和括号 54 545 NOT 54 练习 55 第六章数据转换和计算 57 61数据类型 57 611 字符型数据 57 612 二进制数据 58 613 数字型数据 59 614 图形数据 60 62算术运算符 61 63 TERADATA算术函数 63 64运用算术运算符计算 63 65系统变量 64 66字符常量、数字常量和计算模式 65 67对日期的处理 67 671 日期计算 67 672 与日期有关的数据函数 68 673 利用CAST作数据转换 70 练习 71 第七章简单的宏 74 71宏的定义 75 72宏的执行 75 73宏的删除 75 III 74宏的显示和改变 76 练习 76 第八章子查询 78 81基本子查询 78 82复杂子查询 79 83 EXISTS在子查询中的使用 80 84关于子查询的一些基本规则 82 练习 82 第九章属性和函数 84 91表达式属性 84 92 CHARACTERS函数 86 93 TRIM函数 87 94 FORMAT短语 88 95对日期的格式化处理 90 96对字符数据的截取 93 97属性函数 95 练习 95 第十章内连接 98 101内连接基本介绍 98 102别名的定义和使用 100 103交叉连接(CROSS JOIN) 101 104多个表的内连接 103 105自连接(SELF JOIN) 104 106子查询(SUBQUERY)与表的连接 106 练习 108 第十一章数据定义 110 111创建表 111 1111 创建表的可选项(Create Table Options) 113 1112 字段定义 114 1113 表级约束定义 118 1114 索引定义 121 IV 112删除表 123 113修改表 124 114次索引 126 练习 128 第十二章数据操作 131 121 INSERT 131 122 UPDATE 133 123 DELETE 134 124交易完整性 135 练习 137 第十三章参数宏 139 131简单参数宏 139 132多参数宏 140 133利用宏实现参照完整性 142 练习 145 第十四章分组与聚合 147 141聚合函数 147 142 GROUP BY 148 143WHERE子句和GROUP BY子句 149 144 GROUP BY和ORDER BY 150 145 GROUP BY和HAVING条件限定 152 146 GROUP BY小结 153 练习 153 第十五章总计与小计 155 151利用WITH BY进行数据小计 155 152利用WITH语句产生最后的总计 159 153 DISTINCT修饰语 160 154进一步的例子 162 155 WITH BY和WITH总结 164 练习 165 第十六章集合操作 166 V 161集合操作的定义 166 162合并操作 168 163相交操作 169 164排它操作 170 165关于集合操作的补充规则 171 练习 171 第十七章视图 173 171创建和使用视图 174 172视图中的连接 175 173利用视图重命名列 176 174改变视图定义 177 175聚合视图(AGGREGATE VIEW) 179 176使用HAVING的聚合视图 180 177视图的限制和总结 181 练习 182 第十八章字符串函数 184 181 SUBSTRING函数 184 182字符串合并 187 183 INDEX (字符串定位函数) 188 练习 190 第十九章外连接 192 191外连接基础 193 192多个表的外连接操作 195 练习 198 第二十章相关子查询与导出表 200 201相关子查询(CORRELATED SUBQUERIES) 200 202相关子查询和连接 202 203使用临时表 203 204导出表 205 205在导出表中使用分组(GROUP) 206 练习 207 VI 第二十一章 CASE 表达式 209 211基于值(VALUED)的CASE语句 209 212基于搜索(SEARCHED)的CASE语句 211 213 NULLIF表达式 213 214 COALESCE(接合)表达式 216 练习 219 第二十二章系统日历 221 221系统日历 221 222日历表的布局 222 223日历中的一行 224 224使用日历 225 225使用今天的视图 226 226查询相对于今天的信息 228 227分组结果 229 228比较相关周 231 229按星期聚合 232 练习 237 第二十三章 OLAP函数 239 231 OLAP函数简介 239 232累计函数 240 233移动平均函数 244 234移动汇总函数 245 235移动差分函数 247 236排队函数 249 2361 准备数据表 249 2362 简单排队 250 2363 带限定的排队 251 2364 排队中的变化 253 2365 带聚合的排队 255 2366 排队和排序 258 237分位数函数 260 2371 使用分位数 260 VII 2372 分位数的变化 263 2373 分位与聚合 265 2374 分位与排序 267 238移动线性回归函数 269 2381 使用线性回归预测 269 2382 按日期预测 272 239采样函数 274 2391 简单采样 274 2392 采样不同的值 276 2393 使用SAMPLEID 279 2310 OLAP统计函数 282 23101 标准偏差函数 282 23102 变异函数 283 23103 分布函数 284 23104 相关性和协方差函数 285 23105 线性回归函数 286 练习 287 第二十四章触发器 290 241触发器基础 290 2411 什么是触发器 290 2412 触发与被触发语句 292 2413 定义触发器 293 2414 触发器选项 294 242有条件的行触发器 296 243有条件的语句触发器 298 244层叠的触发器 299 245语句触发器和WHEN子句 301 246参照规则 304 247启用触发器 306 248触发器与交易 308 2481 触发器和交易 308 2482 多个触发器与交易 309 2483 触发器、交易与顺序 310 VIII 2484 触发器和参照完整性 312 249触发器使用指导 313 练习 314 第二十五章临时表 317 251临时表简介 317 2511 为什么使用临时表 317 2512 访问临时表 319 2513 选择临时表 320 252导出表 321 253可变临时表 322 2531 可变临时表 322 2532 可变临时表的约束 324 2533 使用可变临时表 325 2534 得到帮助 328 2535 可变临时表的限制 329 2536 可变临时表的测验 331 254全局临时表 332 2541 全局临时表 332 2542 创建全局临时表 333 2543 空间分配 334 2544 得到帮助 335 2545 使用全局临时表 337 2546 全局临时表和数据定义语言 339 2547 次索引 342 2548 统计(STATISTICS) 345 练习 349 第二十六章索引的特殊作用 352 261按值排序的非唯一次索引 352 2611 回顾非唯一的次索引 352 2612 创建按值排序的非唯一次索引 354 2613 按值排序的非唯一次索引的限制 355 262连接索引 356 2621 多表连接索引 357 IX 2622 给连接索引赋予主索引 361 2623 给连接索引增加次索引 363 2624 单表连接索引 364 263聚合索引 367 2631 为什么使用聚合索引 367 2632 聚合索引的特点 368 2633 没有聚合索引 368 2634 使用聚合索引 371 2635 显示聚合索引 373 2636 索引覆盖查询 374 练习 377 第二十七章从已有表创建新表 380 271使用已有的定义创建空表 380 272可复制的属性 381 273使用子查询创建表 383 274改列名 385 275改变列属性 386 276使用已有的表创建有数据的表 388 277子查询中使用连接 389 278使用计算和表达式 390 279覆盖数据类型 392 2710设置缺省的标题 393 2711增加UNIQUE和PRIMARY KEY约束 394 2712可变表和临时表 396 2713使用缺省值 397 练习 401 第二十八章存储过程(一) 403 281存储过程基础 403 2811 什么是存储过程 403 2812 存储过程的特点 404 2813 存储过程的优势 405 282调用存储过程 405 2821 带参数的存储过程 405 X 2822 调用存储过程 407 2823 调用参数选项 409 2824 转换调用参数 410 2825 使用宿主变量作为参数 412 2826 过程调用过程 412 2827 CALL语句的其他考虑 415 2828 存储过程包含SQL 415 2829 调用例子 416 283存储过程的权力和权限 419 284使用LOOP语句 420 285游标 422 2851 声明游标 422 2852 游标的例子 423 2853 使用ACTIVITY_COUNT 426 286 SELECT INTO -返回一行 427 287编译 429 2871 编译存储过程 429 2872 编译和权限 430 2873 编译使用ODBC和JDBC的存储过程 431 288异常情况发生 432 289存储过程的帮助信息 433 练习 435 第二十九章存储过程(二) 438 291可更新游标 438 2911 使用可更新游标修改 438 2912 使用可更新游标删除 440 2913 可更新游标的其他规则 441 292存储过程的异常情况处理 442 2921 异常情况处理器(Condition handlers) 442 2922 EXIT异常处理 444 2923 CONTINUE的异常处理 444 2924 多个异常处理器 446 293存储过程和交易 448 XI 2931 存储过程和ANSI模式交易 448 2932 ANSI模式交易的例子 450 2933 存储过程和Teradata模式交易 452 2934 Teradata模式交易的例子 453 294异常处理器的异常情况 456 2941 异常处理器的异常情况(ANSI-mode)

2016-03-11

JAVA调用ORACLE存储过程通用类

提供JAVA调用ORACLE存储过程通用类

2016-03-07

JAVA读取EXCEL通用类

JAVA读取EXCEL通用类,提供接口方便的读取EXCEL文件

2016-03-07

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除