- 博客(139)
- 资源 (1)
- 收藏
- 关注
原创 从小数据算法说起
说到算法工程师,大家的印象首先是学历要高,工资很高。从事的高端的工作,比如人工智能,比如机器学习什么的。目前流行的是大数据算法工程师,基于大数据的。但生活中往往有些东西没有大数据,只有小数据。基于这些小数据怎么来设计算法,怎么来提升某一行业的产品效果,目前没有一个清晰准备的思路。无意间翻到管理大师的德鲁克的著作,心有所感,谈谈小数据的算法来如何做,在我看来,小数据的算法其实应该比大数据的算法更另人心动。 小数据的算法是什么呢?简单来说,一个企业要提升目前和将来业绩,那要从营销和创新做...
2020-10-13 17:36:44
250
原创 Elasticsearch内存高问题解决整理
主要进行配置进行,调整如下:1、设置ES_HEAP_SIZE环境变量,保证JVM使用的最大和最小内存用量相同。如果设置的最小和最大内存不一样,这意味着当jvm需要额外的内存时(最多达到最大内存的大小),它会阻塞java进程来分配内存给它。结合使用旧版本的java情况就可以解释为什么集群中的节点会停顿、出现高负载和不断的进行内存分配的情况。elasticsearch团队建议给es设置50
2017-02-16 18:43:39
10326
转载 HBase概念及表格设计
1. 概述(扯淡~)HBase是一帮家伙看了Google发布的一片名为“BigTable”的论文以后,犹如醍醐灌顶,进而“山寨”出来的一套系统。由此可见: 1. 几乎所有的HBase中的理念,都可以从BigTable论文中得到解释。原文是英语的,而且还有不少数学概念,看了有点儿懵,建议网上找找学习笔记看看,差不多也就可以入门了。 2. Google确实牛X。 3. 老外也
2017-02-16 11:02:31
1157
原创 spring bean重新加载问题解决
背景:1、tomcat工程启动比较慢,会导致很长的一段时间无法对外提供服务。2、服务器数量比较多,更新一次运维会花比较长的时间。描述:对系统框架进行调整,把会频繁更新的功能,做成spring jar包,放在web站点,然后tomcat部署的系统自动向web站点请求最新的spring jar包。实现关键代码:1、jar包解析myClassLoader =
2016-04-22 16:21:11
8204
1
原创 git主库和子库的操作(submodule)
1、与主库关联$ git submodule add git@github.com:test/hdtlib.git modules/externlibmodules是表示主库当前目录中其中一个文件夹。这里的关联的意思是把modules/externlib与hdtlib子库关联起来。 2、更新所有子库的内容到本地主库$ git submodule foreach --rec
2015-08-12 12:12:00
1618
转载 hello samza不容易
为什么说不那么容易说hello呢,因为在整个过程中,你不仅要等待将近一个小时下载yarn、kafka、zookeeper,还且你还会遇到2个让你无法顺利执行的状况。借助原文,我会进行说明。Hello SamzaThe hello-samza project is a stand-alone project designed to help you run your first Sa
2015-06-28 13:42:49
1138
转载 git工作流
首页最新文章在线课程业界开发IT技术设计创业IT职场投稿更多 »- 导航条 -首页最新文章在线课程业界开发- Web前端- Python- Android- iOS- Java- C/C++- PHP- Ruby- GoIT技术- Linux- UNIX- MySQL- NoSQL- 数据库- Git- 算
2015-04-28 16:34:21
683
原创 windows下使用git拉取源码文件编码问题
如题,在进行拉取的时候,发现原先unix格式,会变成dos格式,后来发现使用git config --global core.autocrlf false或者直接改git的全局文件,设置false。当然如果原先就是要dos格式的话,那就把此选项改成true。
2015-04-28 14:37:56
5876
原创 gmock
My favorites ▼ | Sign ingooglemockGoogle C++ Mocking Framework Project HomeDownloadsWikiIssuesSourceExport to GitHubSearch Sea
2015-03-24 18:53:39
2822
原创 git svn --ignore-paths 注意点
--ignore-paths='(abc/Log|^*aa/Log)'1、正则不能太复杂2、只有第一个目录支持正则,其他子目录不支持正则,。
2015-02-28 15:56:03
1714
转载 gitlab升级脚本
cd /home/git/gitlabsudo -u git -H bundle exec rake gitlab:backup:create RAILS_ENV=productionsudo service gitlab stopcd /tmp/rubycd ruby-2.0.0-p481sudo make installsudo gem install bund
2015-02-25 17:05:36
711
原创 使用gitlab7.7.2需要注意的一些点
1、系统必须是6.0以上。2、gitlab中的配置。a、需注意的是gitlab.yml,注意https和非https的区别 b、unicorn.rb中的listen "127.0.0.1:8080", :tcp_nopush => true。 c、application.rb中的一些细的配置。 d、database.yml中用host配
2015-02-15 22:58:21
2392
转载 centos 6下安装gitlab,使用apache作为webserver
时间 2014-08-12 01:41:47 dzone.com: unix-linux 相似文章 (0)原文 http://hungred.com/how-to/installing-gitlab-centos-6-apache-server-cpanel-dns-server/Please
2015-02-12 11:12:17
3776
原创 centos5.6下testlink1.9.12安装
安装前准备:1、php5.4.37版本编译安装 2、yum install httpd&yum install httpd-devel3、yum install mysql&yum install mysql-devel&yum install mysql-server&yum install mysql-embedded(-devel)安装:1、从开源软件上下载
2015-02-04 16:57:27
2343
原创 centos5.6下php5.4最新版的安装
安装命令:./configure --prefix=/usr/local/php5.4 --with-apxs2=/usr/sbin/apxs --disable-debug --enable-safe-mode --enable-trans-sid --with-xml --with-mysql=/usr --with-libdir=lib64 --enable-short-tags --
2015-02-02 13:39:47
1043
转载 CentOS 5.5使用yum安装Apache+PHP+MySQL
一、安装centos5.5操作系统CentOS 开发社区已发布了新的 5.5 版本。CentOS 5.5 基于 Red Hat Enterpris Linux 5.5.0,其中包括 Kernel 2.6.18、Apache 2.2、PHP 5.1.6、MySQL 5.0、PostgreSQL 8、GNOME 2.16、KDE 3.5、OpenOffice.org 2.3、Firefox 3.0
2015-01-27 17:48:56
564
转载 真实的TDD
目前我正在教授一个为期两周的“敏捷开发实践”速成课,参加培训的团队成员都是非常传统的企业级Java开发者。要将社区中15年的进展浓缩到8个半天的实践课程中非常具有挑战性:在严格地时间约束下,教授什么思想和实践才能对这些开发者的职业生涯提供最大帮助呢?经过几天断断续续的思考,我至少得出了一个结论:传统上会介绍给新人的测试驱动开发(TDD)将不会出现在我的课程里。通常的TDD介绍存在着
2015-01-16 16:27:19
882
转载 单元测试中的 gtest and googlemock
单元测试概述测试并不只是测试工程师的责任,对于开发工程师,为了保证发布给测试环节的代码具有足够好的质量( Quality ),为所编写的功能代码编写适量的单元测试是十分必要的。单元测试( Unit Test ,模块测试)是开发者编写的一小段代码,用于检验被测代码的一个很小的、很明确的功能是否正确,通过编写单元测试可以在编码阶段发现程序编码错误,甚至是程序设计错误。单元测试不
2014-11-22 21:21:06
1995
转载 ios录制并写视频文件
转自:http://flhs-wdw.blog.sohu.com/207300574.html iphone提供了AVFoundation库来方便的操作多媒体设备,AVAssetWriter这个类可以方便的将图像和音频写成一个完整的视频文件。甚至将整个应用的操作录制下来,也不是什么困难的事情。 这里先说一下如何将录像的视频写到指定文件中去: 首先先准备好
2014-11-08 23:08:14
11039
2
转载 ios camera
1,ACCaptureSession: 用于组织Device,input和output之间的连接,类似于DShow的filter的连接。如果能够将input和output连接,则在start之后,数据将冲input输入到output。 主要的几个点: a)ACCaptureDevice 用于设备的定义,既camera device。 b)AV
2014-11-06 19:17:31
860
原创 iphone处理gb2312的网页
NSStringEncoding enc = CFStringConvertEncodingToNSStringEncoding(kCFStringEncodingGB_18030_2000);
2014-10-23 10:58:55
522
原创 linux 截取文件内容脚本
cat 1.log | while read line; do echo $line|tr -d '"'|awk '{if((match($0,"idfa") == 0)&&(match($0,"mac") > 0)){print substr($0,match($0,"mac"),17),substr($0,match($0,"clientIpAddress"),33)}}'|awk '{pri
2014-09-29 12:28:38
1393
转载 如何将app打包成deb包供越狱iphone在cydia源上下载安装
http://liang8305.github.com/ios/如何将app打包成deb包供越狱iphone在cydia源上下载安装/修改编译选项重新打包在工程的Build Settings -> Code Signing -> Code Signing Identity 选项, 将 Debug 和 Release 下的 Any iOS SDK 都设置为 Don't
2014-08-28 12:59:08
4294
转载 mac上如何添加dpkg命令
1: 先 安装 Macportshttp://www.macports.org/install.php ps:有可能会卡在最后一分钟,需要重启后断网安装即可。 2: 安装 dpkg sudo port -f install dpkg 等待
2014-08-28 12:58:06
7841
1
转载 ios上越狱开发,root权限获取
首先,只有在越狱的ios设备上才可以获取root权限,未越狱就不用考虑了!思路:用具有普通权限的app引导具有root权限的app。假设你的应用程序为Demo,引导程序为Start。具体步骤如下:1、在Demo工程main.m文件开头添加一句:setuid(0);编译你的程序。进入Demo.app文件把Demo的执行文件改名为Demo_2、在Start工程main.
2014-08-28 12:55:31
936
转载 ios上启用root特权
接触iOS开发还不到一个星期,看了O'Reilly出版的一本《Cocoa and Objective-C: Up and Running》作为入门书,描述的比较简单,很适合初学者入门。我看书基本上就是找重点看,找疑惑的地方着重理解,边理解也边开着XCode实践一下。所以,还是一天把它吸收了,第一次看至少能消化一半,回头看应该还能再理解透一点。我相信每个人一开始都会觉得objc的扩展语法很奇怪,不过
2014-08-28 12:54:50
1121
转载 puppet与nagios的结合
为了方便与puppet结合着用,所以接下去原本用源码编译的,统统改成用rpmbuild打包完,在放进自己建的源里面,本文也将说明本地源如何创建。 文中软件包nrpe,和nagios-plugins均由上篇文章的spec生成。 老规矩,先上架构图(ps:其实都差不多- -):1.init.ppimport "*" 2.web.ppclass nag
2014-08-11 12:09:53
636
转载 移动调研
摘要:调查显示:移动研发团队规模整体偏小,大多数团队都是2到5人,移动应用平均开发周期主要在3个月以内,当前移动团队近5成的移动团队尚无收入,对盈利满意的只占到7.36%。网页游戏如今很流行,其最热门技术是HTML5。继之前发布《2014中国软件开发者调查(一):Java最受欢迎 第二语言JS使用比例最高》和《2014中国软件开发者调查(二):Java、.NET、Web、云计算技术应用
2014-06-24 16:23:27
947
原创 tcpcopy-0.6.5的使用
测试机: TCPCopy server (root用户执行) 1)启动内核模块ip_queue (modprobe ip_queue) 2)设置要截获的端口,并且设置对output截获 iptables -I OUTPUT -p tcp --sport port
2014-04-22 13:40:39
799
转载 Storm集群安装部署步骤【详细版】
启动Storm各个后台进程最后一步,启动Storm的所有后台进程。和Zookeeper一样,Storm也是快速失败(fail-fast)的系统,这样Storm才能在任意时刻被停止,并且当进程重启后被正确地恢复执行。这也是为什么Storm不在进程内保存状态的原因,即使Nimbus或Supervisors被重启,运行中的Topologies不会受到影响。以下是启动Storm各个后台进程的方式:
2014-02-17 12:05:40
3104
原创 centos下zeromq和jzmq的安装
zeromq: yum install uuid-devel yum install libuuid-devel jzmq: 安装完zermq之后。 设置好java_home的环境变量。(root用户下/root/.bash_profile,命令source /root/.bash_profile)
2014-02-17 12:03:41
1781
转载 不用轻易使用kill -9
Perl语言专家Randal Schwartz在一篇短文里这样写:no no no.不要使用kill -9.它没有给进程留下善后的机会:1) 关闭socket链接2) 清理临时文件3) 将自己将要被销毁的消息通知给子进程4) 重置自己的终止状态等等。通常,应该发送15,等一两秒钟,如果没效果,发送2,如果还不行,发送1。如果还不行
2014-02-10 15:16:02
945
原创 linux 调试相关(core dump)
1、设置core dump文件路径修改文件/proc/sys/kernel/core_pattern,可设置core dump文件路径和格式。例如:/data/coredump/core-%e-%p-%t 2、设置生成core dump文件修改文件/etc/profile,可设置生成core dump文件。可在文件中增加以下文本:ulimit -S -c unlimited
2013-12-09 10:10:24
562
原创 windbg符号文件路径设置
系统自动下载符号文件路径:srv*d:\symcachel*http://msdl.microsoft.com/download/symbols,完整的符号文件路径:c:\pdb;srv*d:\symcache*http://msdl.microsoft.com/download/symbols
2013-07-17 09:41:01
2885
转载 C/C++代码覆盖率工具:gcov和lcov的使用入门 .
一下文章摘自 http://magustest.com/blog/whiteboxtesting/using-gcov-lcov/ gcov是一个可用于C/C++的代码覆盖工具,是gcc的内建工具。下面介绍一下如何利用gcov来收集代码覆盖信息。想要用gcov收集代码覆盖信息,需要在gcc编译代码的时候加上这2个选项 “-fprofile-arcs -ftest-coverage
2013-06-21 17:55:09
1062
转载 CentOS下安装使用start-stop-daemon
CentOS是没有start-stop-daemon的,因为start-stop-daemon在debian的dpkg包里。要安装的话,需要自己折腾。相关命令如下:wget http://developer.axis.com/download/distribution/apps-sys-utils-start-stop-daemon-IR1_9_18-2.tar.gztar z
2013-06-20 10:59:42
4827
1
原创 linux常用命令整理
1、内存和CPU查看。top -b -n 1 |grep 进程名|awk '{print "cpu:"$9"%","mem:"$10"%"}'2、RSS-------------进程实际占用物理内存大小;VSZ--------------任务虚拟地址空间的大小ps -aux|grep 进程名3、进程详细信息cat /proc/进程id/status4、检查所需要
2013-04-17 09:56:57
571
原创 voltdb3.0和redis单节点的性能比对
目标:在相同的硬件和软件环境下,比较voltdb3.0和redis存取的性能。硬件环境:800M内存,单核。软件环境:CentOS6.0 64位。Voltdb:运行voltdb中自带的例子程序voltkv来得到其性能数据。redis:运行redis中对应的benchmark来获取其性能数据。voltdb性能测试结果:-----------------
2013-02-17 10:09:38
3670
转载 http://blog.csdn.net/redroot/article/details/1473009
我装的系统是Ubuntu linux,在自己装了java1.4,装了Firefox的java插件后系统有三个版本的java,写的Java串口程序在终端可以运行但是放到网页中就不行了,经常报no rxtxSerial in java.library.path的错误,由于我在/etc/profile中也有设置java路径,所以一直到处试都不能解决整个问题,也不知道系统当前的java.library.p
2013-01-16 17:58:48
777
原创 hadoop学习笔记
hadoop主要是由HDFS(分布式文件系统)和MapReduce(分布式计算系统)两大部分组成。HDFS是分布式文件系统,它把文件安装一定大小(64M)分成多份,每份复制多块分布在不同数据节点上,例如:hadoop系统是分布在两个不同机架(机房)上的,每块文件复制3份的话,1份放在不同机架,两份则放在经常读取的机架。这样做即提升了性能,又保证了数据的安全行。MapReduce则是先把数据进行一定
2013-01-16 16:12:03
461
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人