crackwl-CSDN博客

原创 OpenRestry使用场景一

OpenResty 通过lua脚本扩展nginx功能，可提供负载均衡、请求路由、安全认证、服务鉴权、流量控制与日志监控等服务。很多大厂比如京东、360都在生产环境是用了这个应用程序。2015年底老罗营销锤子的时候顺便让这个程序在程序员圈中火了一把。 OpenResty 处理请求大致分为四个阶段，可在不同阶段使用lua脚本来定制不同行为：初始化阶段（Initializati...

2018-08-18 16:21:03 10083

原创浅谈DevOps

笔者做过一些时间技术管理，3年之前说到项目管理和交付，谈的最多的就是敏捷开发、持续集成、持续交付，最近几年谈起来必说DevOps。我想谈谈我的理解，首先抛出3个问题：（1）DevOps就是敏捷开发加CI持续集成么？（2）DevOps似乎要投入很多人力，小公司有搞这个的必要么？（3）我们应该如何优化开发流程向DevOps靠拢？ DevOps的目的是为了高效交付，打破...

2018-08-18 16:19:11 1814

版本：quartz 2.2.3环境：2台linux机器搭建集群问题现象：1个10s循环执行的job，每隔10s会同时在2台机器进行调度执行。问题分析过程：首先baidu了一些网上类似问题，有些是单点出现重复执行的，跟本问题现象不一样；还有些集群出现的重复执行问题，给出的解决思路是自己另外写一个表加数据库锁或者分布式锁或者一致性工具zookeeper，通过这些手段来保证一致性。个人感觉quartz已...

2018-03-20 17:55:17 5461

原创 spark源码阅读二-spark job执行

本篇文章主要讲解driver进程spark context runJob函数执行后，最终如何提交在executor机器上分布式运行的。整个过程涉及2种进程，driver和executor。1.job提交和stage划分def runJob[T, U: ClassTag]( rdd: RDD[T], func: (TaskContext, Iterator[T]) =>

2017-08-03 09:13:12 374

原创 spark源码阅读二-spark application运行过程

本篇文章主要讲述一个application的运行过程。大体分为三部分：（1）SparkConf创建；（2）SparkContext创建；（3）任务执行。

2017-08-02 17:54:00 1136

原创 spark源码阅读二-spark-submit执行过程

在spark-shell提交spark任务或者在某个clinet机器命令行运行spark-submit脚本提交任务，其实都执行的spark-submit脚本。spark-submit脚本代码

2017-08-02 10:32:08 490

原创 spark源码阅读一-spark读写hbase代码分析

1.读取hbase代码val hBaseRDD = sc.newAPIHadoopRDD(conf, classOf[TableInputFormat], classOf[org.apache.hadoop.hbase.io.ImmutableBytesWritable], classOf[org.apache.hadoop.hbase.client.Result])

2017-08-01 22:36:58 648

原创 spark源码阅读一-spark读写文件代码分析

1.读取文件从本地文件读取sparkcontext.textFile(“abc.txt”)从hdfs文件读取sparkcontext.textFile("hdfs://s1:8020/user/hdfs/input”)

2017-08-01 20:06:50 2203 1

原创 spark源码阅读一-spark-mongodb代码分析

源码的github地址https://github.com/mongodb/mongo-spark，是mongodb发布的spark connection接口库，可以方便的使用spark读写mongodb数据1.rdd写入mongodb两种方式将生成的rdd写入mongodb，事例代码：

2017-07-31 15:47:29 2775

原创 spark环境运行程序遇到几个坑

1.mac下brew安装spark，运行spark-shell或start-all.sh提示spark-config start-master.sh等找不到建议在spark.apache.org/download.html下载压缩文件，在本地解压后修改环境变量即可。brew安装的spark，sbin目录在安装目录的libexec下面，运行脚本都是在安装目录／sbin下寻找，如此就会出现运行

2017-07-17 22:32:23 4811 1

原创 spark mac intellij idea开发环境

1.先安装好java sdk，配置好java环境变量2.安装spark scala可以直接brew安装，也可下载安装$ brew update$ brew info apache-spark$ brew install apache-spark$ brew install scala$ brew install sbtscala下载地址http://www.s

2017-07-16 20:28:19 2742

原创机器学习mxnet mac下编译问题

机器学习库mxnet，这个库是c++编写的，需要先编译再使用，步骤稍微多些1.下载代码先git clone --recursive https://github.com/dmlc/mxnet2.依赖库编译brew updatebrew tap homebrew/sciencebrew install opencvbrew install openblas3.配置

2017-07-16 20:10:12 757

转载 ios中wkwebview cookie设置

原文转载学习，具体见http://www.jianshu.com/p/d2c478bbcca5?mType=Group，作者总结了3种方法。当前一些公司为了快速出一款app，很多时候采用UINavigationController+WebView或者NavigationController+UITabbarVC+WebView的方式，这样就不可避免的需要使用cookie与Html5交互，下

2016-08-24 22:35:41 2267

转载 [转帖]Android Bitmap内存限制OOM,Out Of Memory

http://www.cnblogs.com/qwhg/archive/2010/09/13/1824965.html

2015-12-13 22:55:35 257

转载 Android之Handler用法总结

http://www.cnblogs.com/devinzhang/archive/2011/12/30/2306980.html

2015-12-13 22:51:09 187

原创 android studio环境问题

其实要能上google网站的话，按照搜索出来的按照和配置步骤一般没啥问题。此前通过修改host也能更新sdk啥的，最近试试不行了。只能想象其他办法。1.android SDK更新国内有一些sdk镜像网站，找到这些镜像网站，在sdk manager程序tool/option设置对应的代理即可。（1）启动 Android SDK Manager ，打开主界面，依次选择『Tools』

2015-12-13 13:46:01 430

David的专栏