- 博客(97)
- 资源 (28)
- 收藏
- 关注
转载 你与高手的距离,并非只差了一万小时练习
决定你层次的不是知识量多少,而是心智模型高低。“我这辈子遇到的聪明人没有一个不是每天读书的——没有,一个都没有。沃伦·巴菲特就是一本长了两条腿的书。”——查理·芒格演讲者|李善友混沌大学创办人Question 1有人读了很多书,变成了高手;更多人终日学习,却依旧平庸。为什么?◆ 人人都是掘地蜂,我们以为的理性决策,不过是对既定思维的自发式反应。◆ 决定你层次的不
2017-12-02 23:24:31 963
转载 spark调优(七)【Spark性能优化指南——高级篇】
1 数据倾斜调优1.1 调优概述有的时候,我们可能会遇到大数据计算中一个最棘手的问题——数据倾斜,此时Spark作业的性能会比期望差很多。数据倾斜调优,就是使用各种技术方案解决不同类型的数据倾斜问题,以保证Spark作业的性能。2.2 数据倾斜发生时的现象绝大多数task执行得都非常快,但个别task执行极慢。比如,总共有1000个task,997个task都在1分钟之内执行完了,但是剩余两三个t
2017-12-02 23:23:47 791 1
转载 spark调优(六)【Spark性能优化指南——基础篇】
1 前言在大数据计算领域,Spark已经成为了越来越流行、越来越受欢迎的计算平台之一。Spark的功能涵盖了大数据领域的离线批处理、SQL类处理、流式/实时计算、机器学习、图计算等各种不同类型的计算操作,应用范围与前景非常广泛。在美团•大众点评,已经有很多同学在各种项目中尝试使用Spark。大多数同学(包括笔者在内),最初开始尝试使用Spark的原因很简单,主要就是为了让大数据计算作业的执行速度更快
2017-12-02 11:43:28 659
转载 spark调优(五)【Cigna优化Spark Streaming实时处理应用】
Cigna优化Spark Streaming实时处理应用1 框架一览事件处理的架构图如下所示。2 优化总结当我们第一次部署整个方案时,kafka和flume组件都执行得非常好,但是spark streaming应用需要花费4-8分钟来处理单个batch。这个延迟的原因有两点,一是我们使用DataFrame来强化数据,而强化数据需要从hive中读取大量的数据; 二是我们的参
2017-12-02 11:42:14 1128
转载 spark调优(四)【databricks spark知识库】
1 最佳实践1.1 避免使用 GroupByKey让我们看一下使用两种不同的方式去计算单词的个数,第一种方式使用 reduceByKey, 另外一种方式使用 groupByKey:val words = Array("one", "two", "two", "three", "three", "three")val wordPairsRDD = sc.parallelize(
2017-12-02 11:41:26 1459
转载 spark调优(三)【spark性能调优】
spark性能调优 当你开始编写Apache Spark代码或者浏览公开的API的时候,你会遇到诸如transformation,action,RDD等术语。了解到这些是编写Spark代码的基础。同样,当你任务开始失败或者你需要透过web界面去了解自己的应用为何如此费时的时候,你需要去了解一些新的名词:job, stage, task。对于这些新术语的理解有助于编写良好Spark代码。这里
2017-12-02 11:38:48 998
转载 spark调优(二)【spark性能调优(官方)】
Spark调优 由于大部分Spark计算都是在内存中完成的,所以Spark程序的瓶颈可能由集群中任意一种资源导致,如:CPU、网络带宽、或者内存等。最常见的情况是,数据能装进内存,而瓶颈是网络带宽;当然,有时候我们也需要做一些优化调整来减少内存占用,例如将RDD以序列化格式保存。 本文将主要涵盖两个主题:1.数据序列化(这对于优化网络性能极为重要);2.减少内存占用以及内存调优。同时
2017-12-02 11:31:03 680
转载 spark调优(一)【spark参数介绍】
1 spark on yarn常用属性介绍 属性名 默认值 属性说明 spark.yarn.am.memory 512m 在客户端模式(client mode)下,yarn应用master使用的内存数。在集群模式(cluster mode)下,使用spark.driver.memory代替。 spark.driver.cores 1 在集群模式(cluster mo
2017-12-01 17:02:58 2036
原创 在ASP.NET中的JQuery FullCalendar实现
项目结构:实体类:CalendarEvent.cs:using System;using System.Collections.Generic;using System.Linq;using System.Web;namespace test.Model{ public class CalendarEvent { public int id { get; se
2017-12-01 15:45:03 2077 1
转载 我的fullcalendar3.0笔记
fullcalendar做日程管理视图挺好的,至今还在更新维护,前两个月还发布了3.0版本,说明还有资源在维护,如果要选择免费开源的产品,可以选择这款。 <!DOCTYPE html><html> <head> <meta charset="utf-8" /> <link href="../fullcalendar.css" rel="stylesheet" /> &
2017-12-01 15:03:16 1262
转载 Hive编程(十三)【函数】
13.1 发现和描述函数SHOW FUNCTIONS列举当前Hive会话中所加载的所有函数名。包括内置的和用户自定义的函数。hive> SHOW FUNCTIONS;absacosandarray使用DESCRIBE FUNCTION显示函数的简短描述信息。hive> DESCRIBE FUNCTION concat;concat(str1, str2, ... strN) - ret
2017-12-01 14:54:30 608
转载 Hive编程(十二)【开发】
12.1 修改Log4J属性Hive使用$HIVE_HOME/conf目录下的2个Log4j配置文件来配置日志。hive-log4j.properties文件控制CLI和其他本地执行组件的日子。hive-exec-log4j.properties控制MapReduce tasks内的日志。使用hiveconf修改Hive日志级别$ bin/hive -hiveconf hive.root.logge
2017-12-01 14:50:51 585
转载 Hive编程(十一)【其他文件格式和压缩方法】
11.1 确定安装编解码器# hive -e "set io.compression.codecs" io.compression.codecs=org.apache.hadoop.io.compress.GzipCodec, org.apache.hadoop.io.compress.DefaultCodec, org.apache.hadoop.io.compress.BZip2Codec
2017-12-01 14:43:48 1159
转载 Hive编程(十)【调优】
10.1 使用EXPLAINhive> DESCRIBE onecol; number inthive> SELECT * FROM onecol; 554hive> SELECT SUM(number) FROM onecol; 14 使用EXPLAIN hive> EXPLAIN SELECT SUM(number) FROM onecol; 10.2 EXPLAIN EXTENDE
2017-12-01 14:35:24 485
转载 Hive编程(九)【模式设计】
9.1按天划分的表hive> CREATE TABLE supply_2011_01_02 (id int, part string, quantity int); hive> CREATE TABLE supply_2011_01_03 (id int, part string, quantity int); hive> CREATE TABLE supply_2011_01_04 (id i
2017-12-01 14:32:38 494
转载 Hive编程(八)【HiveQL:索引】
Hive只有有限的索引功能。没有关系型数据库中键的概念。8.1 创建索引对如下管理分区表建立索引CREATE TABLE employees ( name STRING, salary FLOAT, subordinates ARRAY<STRING>, deductions MAP<STRING, FLOAT>, address STRUCT<street:STRING, city:ST
2017-12-01 14:23:44 817
转载 Hive编程(七)【HiveQL:视图】
视图是一个逻辑结构。不像表会存储真实的数据。目前暂不支持物化视图。7.1 使用视图来降低查询复杂度假若有如下的嵌套子查询:FROM (SELECT * FROM people JOIN cartON (cart.people_id=people.id) WHERE firstname='john') a SELECT a.lastname WHERE a.id=3;创建视图CREATE V
2017-12-01 12:02:34 1628
Quill.js TextEditor.zip
2020-11-14
fund_sharp.zip
2020-09-17
webplayer.zip
2020-08-10
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人