2017年12月_.NET跨平台

12月 11月 10月 09月 08月 07月 06月 05月 04月 03月 02月 01月

转载你与高手的距离，并非只差了一万小时练习

决定你层次的不是知识量多少，而是心智模型高低。“我这辈子遇到的聪明人没有一个不是每天读书的——没有，一个都没有。沃伦·巴菲特就是一本长了两条腿的书。”——查理·芒格演讲者|李善友混沌大学创办人Question 1有人读了很多书，变成了高手;更多人终日学习，却依旧平庸。为什么?◆ 人人都是掘地蜂，我们以为的理性决策，不过是对既定思维的自发式反应。◆ 决定你层次的不

2017-12-02 23:24:31 963

转载 spark调优(七)【Spark性能优化指南——高级篇】

1 数据倾斜调优1.1 调优概述有的时候，我们可能会遇到大数据计算中一个最棘手的问题——数据倾斜，此时Spark作业的性能会比期望差很多。数据倾斜调优，就是使用各种技术方案解决不同类型的数据倾斜问题，以保证Spark作业的性能。2.2 数据倾斜发生时的现象绝大多数task执行得都非常快，但个别task执行极慢。比如，总共有1000个task，997个task都在1分钟之内执行完了，但是剩余两三个t

2017-12-02 23:23:47 791 1

转载 spark调优(六)【Spark性能优化指南——基础篇】

1 前言在大数据计算领域，Spark已经成为了越来越流行、越来越受欢迎的计算平台之一。Spark的功能涵盖了大数据领域的离线批处理、SQL类处理、流式/实时计算、机器学习、图计算等各种不同类型的计算操作，应用范围与前景非常广泛。在美团•大众点评，已经有很多同学在各种项目中尝试使用Spark。大多数同学（包括笔者在内），最初开始尝试使用Spark的原因很简单，主要就是为了让大数据计算作业的执行速度更快

2017-12-02 11:43:28 659

转载 spark调优(五)【Cigna优化Spark Streaming实时处理应用】

Cigna优化Spark Streaming实时处理应用1 框架一览事件处理的架构图如下所示。2 优化总结当我们第一次部署整个方案时，kafka和flume组件都执行得非常好，但是spark streaming应用需要花费4-8分钟来处理单个batch。这个延迟的原因有两点，一是我们使用DataFrame来强化数据，而强化数据需要从hive中读取大量的数据；二是我们的参

2017-12-02 11:42:14 1128

转载 spark调优(四)【databricks spark知识库】

1 最佳实践1.1 避免使用 GroupByKey让我们看一下使用两种不同的方式去计算单词的个数，第一种方式使用 reduceByKey，另外一种方式使用 groupByKey：val words = Array("one", "two", "two", "three", "three", "three")val wordPairsRDD = sc.parallelize(

2017-12-02 11:41:26 1459

转载 spark调优(三)【spark性能调优】

spark性能调优当你开始编写Apache Spark代码或者浏览公开的API的时候，你会遇到诸如transformation，action，RDD等术语。了解到这些是编写Spark代码的基础。同样，当你任务开始失败或者你需要透过web界面去了解自己的应用为何如此费时的时候，你需要去了解一些新的名词:job, stage, task。对于这些新术语的理解有助于编写良好Spark代码。这里

2017-12-02 11:38:48 997

转载 spark调优(二)【spark性能调优(官方)】

Spark调优由于大部分Spark计算都是在内存中完成的，所以Spark程序的瓶颈可能由集群中任意一种资源导致，如：CPU、网络带宽、或者内存等。最常见的情况是，数据能装进内存，而瓶颈是网络带宽；当然，有时候我们也需要做一些优化调整来减少内存占用，例如将RDD以序列化格式保存。本文将主要涵盖两个主题：1.数据序列化（这对于优化网络性能极为重要）；2.减少内存占用以及内存调优。同时

2017-12-02 11:31:03 680

转载 spark调优(一)【spark参数介绍】

1 spark on yarn常用属性介绍属性名默认值属性说明 spark.yarn.am.memory 512m 在客户端模式（client mode）下，yarn应用master使用的内存数。在集群模式（cluster mode）下，使用spark.driver.memory代替。 spark.driver.cores 1 在集群模式（cluster mo

2017-12-01 17:02:58 2035

原创在ASP.NET中的JQuery FullCalendar实现

项目结构:实体类:CalendarEvent.cs:using System;using System.Collections.Generic;using System.Linq;using System.Web;namespace test.Model{ public class CalendarEvent { public int id { get; se

2017-12-01 15:45:03 2074 1

转载我的fullcalendar3.0笔记

fullcalendar做日程管理视图挺好的，至今还在更新维护，前两个月还发布了3.0版本，说明还有资源在维护，如果要选择免费开源的产品，可以选择这款。 <!DOCTYPE html><html> <head> <meta charset="utf-8" /> <link href="../fullcalendar.css" rel="stylesheet" /> &

2017-12-01 15:03:16 1262

转载 Hive编程(十三)【函数】

13.1 发现和描述函数SHOW FUNCTIONS列举当前Hive会话中所加载的所有函数名。包括内置的和用户自定义的函数。hive> SHOW FUNCTIONS;absacosandarray使用DESCRIBE FUNCTION显示函数的简短描述信息。hive> DESCRIBE FUNCTION concat;concat(str1, str2, ... strN) - ret

2017-12-01 14:54:30 608

转载 Hive编程(十二)【开发】

12.1 修改Log4J属性Hive使用$HIVE_HOME/conf目录下的2个Log4j配置文件来配置日志。hive-log4j.properties文件控制CLI和其他本地执行组件的日子。hive-exec-log4j.properties控制MapReduce tasks内的日志。使用hiveconf修改Hive日志级别$ bin/hive -hiveconf hive.root.logge

2017-12-01 14:50:51 585

转载 Hive编程(十一)【其他文件格式和压缩方法】

11.1 确定安装编解码器# hive -e "set io.compression.codecs" io.compression.codecs=org.apache.hadoop.io.compress.GzipCodec, org.apache.hadoop.io.compress.DefaultCodec, org.apache.hadoop.io.compress.BZip2Codec

2017-12-01 14:43:48 1159

转载 Hive编程(十)【调优】

10.1 使用EXPLAINhive> DESCRIBE onecol; number inthive> SELECT * FROM onecol; 554hive> SELECT SUM(number) FROM onecol; 14 使用EXPLAIN hive> EXPLAIN SELECT SUM(number) FROM onecol; 10.2 EXPLAIN EXTENDE

2017-12-01 14:35:24 485

转载 Hive编程(九)【模式设计】

9.1按天划分的表hive> CREATE TABLE supply_2011_01_02 (id int, part string, quantity int); hive> CREATE TABLE supply_2011_01_03 (id int, part string, quantity int); hive> CREATE TABLE supply_2011_01_04 (id i

2017-12-01 14:32:38 494

转载 Hive编程(八)【HiveQL:索引】

Hive只有有限的索引功能。没有关系型数据库中键的概念。8.1 创建索引对如下管理分区表建立索引CREATE TABLE employees ( name STRING, salary FLOAT, subordinates ARRAY<STRING>, deductions MAP<STRING, FLOAT>, address STRUCT<street:STRING, city:ST

2017-12-01 14:23:44 817

转载 Hive编程(七)【HiveQL:视图】

视图是一个逻辑结构。不像表会存储真实的数据。目前暂不支持物化视图。7.1 使用视图来降低查询复杂度假若有如下的嵌套子查询:FROM (SELECT * FROM people JOIN cartON (cart.people_id=people.id) WHERE firstname='john') a SELECT a.lastname WHERE a.id=3;创建视图CREATE V

2017-12-01 12:02:34 1628