- 博客(64)
- 资源 (2)
- 收藏
- 关注
RSS订阅转载 一文搞懂极大似然估计
文章转载： 一文搞懂极大似然估计极大似然估计，通俗理解来说，就是利用已知的样本结果信息，反推最具有可能（最大概率）导致这些样本结果出现的模型参数值！换句话说，极大似然估计提供了一种给定观察数据来评估模型参数的方法，即：“模型已定，参数未知”。可能有小伙伴就要说了，还是有点抽象呀。我们这样想，一当模型满足某个分布，它的参数值我通过极大似然估计法求出来的话。比如正态分布中公式如下：如果我通过极大似然估计，得到模型中参数[公式]和[公式]的值，那么这个模型的均值和方差以及其它所有的信息我们是不是就知道了
2020-12-03 14:40:14
1014
原创 idea 远程提交hadoop 任务
异常 hadoop java.net.ConnectException: Connection timed out: no further information原因：远程集群是某云(有内外IP地址)解决方式 在hdfs-site.xml 添加如下配置<property> <name>dfs.client.use.datanode.hostname</name> <value>true</value> <
2020-08-31 13:52:43
260
原创 linux 操作
问题 chmod: changing permissions of ‘xxx’: Operation not permitted1 即使强大的root 也没有办法 删除Linux下UID数值越小的用户，权限越大，可以看到最小值为0，即root用户(查看当前用户id : id - g )2 其实chmod的底层实现是chattr命令，用此命的功能更为强大，甚至可以锁定文件，即使root用户也操作不了此文件3 chattr是用来更改文件属性，lsattr可用来查看文件的属性，执行命令lsattr
2020-08-28 17:22:10
158
原创 idea 调试 Hadoop
hadood ideajava.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries.– 解决方式：System.setProperty(“hadoop.home.dir”, “Full\folder\path:\winutil\”);ps: if you havn’t install winutils.exeyou can execute the command git
2020-08-28 10:45:54
149
转载 安装bcc-tools
一. 安装cmakecmake是一种跨平台的编译工具，安装过程如下：下载源码包：https://cmake.org/files/v3.8/cmake-3.8.0.tar.gz解压：tar -xf cmake-3.8.0.tar.gz引导程序运行：./bootstrap编译gmake安装：make install环境配置：echo ‘export PATH=$PATH:/usr/loc...
2019-03-08 17:14:41
2083
转载 top 使用
top使用原文如上文章写的不错，推荐查看多核CPU命令mpstat -P ALL 和 sar -P ALL说明：sar -P ALL > aaa.txt 重定向输出内容到文件 aaa.txttop命令经常用来监控linux的系统状况，比如cpu、内存的使用，程序员基本都知道这个命令，但比较奇怪的是能用好它的人却很少，例如top监控视图中内存数值的含义就有不少的曲解。本文...
2019-02-19 14:41:40
411
原创 python2.7 send mail
如下实现发送json格式数据认证请求远程服务获取响应的结果 并发送邮件#!/usr/bin/python# -*- coding: utf-8 -*-import smtplibimport urllibimport urllib2import jsondef sendPost(data): print "-----send post-----------------...
2019-01-22 15:29:35
596
转载 如何在MySQL中分配innodb_buffer_pool_size
如何在MySQL中分配innodb_buffer_pool_size详见原文链接详见原文链接原文
2019-01-22 15:04:07
377
原创 linux 命令行下 玩转svn
1 查看某个路径下文件 svn list path 2 上传文件 svn import -m "new pro" needtoupdatefilename xxx/pronameneedtoupdatefilename 待上传的文件名proname 上传后你给工程取的名字 3 检出文件svn checkout filename 4 更新文件svn up...
2018-04-11 15:39:09
152
原创 java 实现树的先序遍历
如下代码实现 理解很重要 /* * 二叉树的先序中序后序排序 */ public Node init() {//注意必须逆序建立，先建立子节点，再逆序往上建立，因为非叶子结点会使用到下面的节点，而初始化是按顺序初始化的，不逆序建立会报错 Node J = new Node(8, null, null); Node H = new...
2018-04-10 16:28:47
1392
原创 mysql 连接失效
经常我们会遇到 mysql connect 连接长时间不访问失效问题(拿不到数据) 一般需要保持长时间的连接 解决方式: 在jdbc:mysql://ip:port/dbname/ 加上 ?autoReconnect=true 一般可以解决问题...
2018-03-21 10:14:31
1012
原创 redis master slave
复制原理第一次全量,然后增量 一主 多从 / 一从 master slave 重启后 之间的主从关系master restart slave normal keep master-slave(主从正常)master normal slave restart fail master-slave (主从破裂)master (a) <–slave(b)<–...
2018-03-13 20:27:23
736
原创 redis aof rdb
指定rdb aof 存放路径 (set the dir for rdb and aof) 注意 dir 后面路径要 加 “” dbfilename “dump.rdb” dir “/home/dumpardb” 设置一处即可rdb aof 恢复顺序 aof – > rdbrdbredis.conf save 900 1 ...
2018-03-13 19:17:30
226
原创 compile spark2.0.0 with maven
spark version : spark-2.0.0maven : Apache Maven 3.5.0 cd /usr/local/spark-2.0.01export MAVEN_OPTS="-Xmx2g -XX:MaxPermSize=512M -XX:ReservedCodeCacheSize=512m"Note:For Java 8 and above this step is
2017-09-20 15:03:01
258
原创 compile spark
version spark-2.0.01 cd spark-2.0.0-mvn2 export MAVEN_OPTS="-Xmx2g -XX:MaxPermSize=512m-XX:ReservedCodeCacheSize=512m"ps: 3 mvn -Pyarn -Phadoop-2.7 -Pspark-ganglia-lgpl -Pkinesis-asl -Phive -Dskip
2017-09-19 13:49:05
308
原创 ps
查询在跑sh进程like a tree ps -f -g<PID>the reasult like the following : PID TTY STAT TIME COMMAND28460 pts/26 Ss 0:00 bash29214 pts/26 R+ 0:00 \_ ps -f -g 3595 pts/25 Ss+ 0:00 bas
2017-09-13 14:07:15
302
原创 the difference between "./" and "sh"
In simple words, sh file1 executing sh command/executable with file1 as a parameter. *** In this case file1 doesn't require execute privilege*** as sh executable read and intercept the commands in the
2017-09-09 12:48:07
228
原创 利用expect在linux shell 中的交互
#!bin/sh expect<<EOF set timeout 200 spawn scp res.zip root@192.168.160.12:/soft expect "password:" send "123456\r" expect eof EOF ps: send密码后面的’\r’必须要有
2017-08-25 13:42:18
266
原创 mysql grant
ps: 注意’root’的引号grant all on *.* to 'root'@'%' identified by 'root' with grant option;
2017-08-14 19:30:38
337
原创 java 图片合成
纵向拼接多张图片横向拼接多张图片用字节数组合成多张图片 ps:（要用Base64 encoder decoder） /** * Java纵向拼接多张图片 * * @param imgs * @param type * @param dst_pic * @return */ public static boolean
2017-08-10 16:08:07
1068
原创 java Calendar
求两个时间相差月份SimpleDateFormat yyyyMM = new SimpleDateFormat("yyyyMM"); Calendar cal1 = Calendar.getInstance(); cal1.setTime(yyyyMM.parse(startTime)); Calendar cal2 = Calendar.getInst
2017-08-02 14:42:57
363
原创 java读取pdf
添加maven 依赖<dependency> <groupId>org.apache.pdfbox</groupId> <artifactId>pdfbox</artifactId> <version>2.0.3</version> </dependency>读取方式// 方式一：
2017-08-01 18:29:52
850
原创 ssh暴力破解
原文出处:source周一上班centos服务器ssh不可用，web和数据库等应用不响应。好在vnc可以登录使用last命令查询，2号之前的登录信息已被清空，并且sshd文件在周六晚上被修改，周日晚上2点服务器被人远程重启使用less /var/log/messages命令2点结合last命令，判断2点重启后IPATABLES生效，有大量的ssh暴力破解的扫描信息，由于机器是测试环境，上面安装了OR
2017-07-28 19:43:50
395
原创 java 快速排序
public static void quickSort(int[] arr){ qsort(arr, 0, arr.length-1); } private static void qsort(int[] arr, int low, int high){ if (low < high){ int pivot=partition(
2017-07-28 19:37:10
213
原创 springmvc 4
The DispatcherServlet configuration needs to include a HandlerAdapter that supports this handler一般是 @controller 没有被加载上 需要加上<mvc:annotation-driven />
2017-05-29 22:00:56
238
原创 ubuntu 执行apt-get install ruby 不能正常install
如遇到如下问题：Reading package lists... DoneBuilding dependency tree Reading state information... DoneYou might want to run 'apt-get -f install' to correct these:The following packages have unmet de
2017-05-17 17:29:16
1327
原创 es scroll 查询
代码示例： 说明： 1 version： 2.x 2 设置size大小 size为每个分片的大小，例如： 设置200，有5个shards,每次提取200×5 3 TimeValue.timeValueMinutes(1) 这个设置为查询超时时间 4 setSearchType(SearchType.Scan) 告诉ES不需要排序只要结果返回即可
2017-05-05 15:06:17
3627
原创 ubtntu16.04 install gcc
install gcc1 下载gcc48-c++_4.8.1-ubuntu14_amd64.deb：link 2 dpkg -i gcc48-c++_4.8.1-ubuntu14_amd64.deb
2017-04-27 11:18:31
724
原创 es 分词器使用简介
introduce :测试整个集群使用的分词器 只需要在一个节点安装即可在同一个type下 不同字段可以设置不同的分词器示例如下：创建indexcurl -XPUT http://spark2:9200/test_ik?pretty添加mapping 对不同的字段分别使用不同的分词器 curl -XPOST http://spark2:9200/test_ik/fulltext/_map
2017-04-22 15:41:52
2468
原创 elasticdump
1 before you dump your data/mapping you should install nodejs,npmdownload the nodejs linkrealase the tar then source the env the details : how to install nodejs,npm 2 install elasticdump (local)n
2017-03-19 21:59:40
1978
转载 install nodejs centos
sources : [http://www.cnblogs.com/kevinchou/p/5405540.html]1 download nojs install package link : https://nodejs.org/dist/v5.10.1/ 2 according to system’s kernal to download the right version 3 then
2017-03-19 21:35:49
328
原创 linux commands for common
查看操作系统版本head -n 1 /etc/issue查看操作系统位数1、uname -a 2、file /bin/ls
2017-03-12 23:03:10
307
转载 ulimit
原文出处：link 网上有好多修改ulimit的文章，但大多仅限于对当前交互shell的修改，如果只是为了提高某一次执行脚本的文件句柄打开数，以下方法非常有效： 操作系统： CentOS 5.1 x86_64 1）修改当前交互终端的limit值 查询当前终端的文件句柄数： ulimit -n 回车，一般的系统默认的1024. 修改文件句柄数为65535，ulimit -n 65535.此时系统的文
2017-03-12 22:08:51
292
原创 nc yum install
how to install nc with yumrpm -q ncyou can try nc -l 9999 then nc -l -p 9999then before you downgrade the package you should check your system's kernel you can type :1、uname -a2、file /bin/lsfor 64
2017-03-12 21:42:36
894
转载 es ik
原文链接：https://github.com/medcl/elasticsearch-analysis-ikInstall1.compilecheckout ik version respective to your elasticsearch versiongit checkout tags/{version}mvn packagecopy and unzip target/releases/e
2017-01-15 12:43:25
455
原创 python 提取key 为中文的json 串
示例:# -*- coding:utf-8 -*-import jsonstrtest = {"中故宫":"好地方","天涯":"北京"}print strtest#####{'\xe4\xb8\xad\xe6\x95\x85\xe5\xae\xab': '\xe5\xa5\xbd\xe5\x9c\xb0\xe6\x96\xb9', '\xe5\xa4\xa9\xe6\xb6\xaf': '\
2016-12-27 17:03:03
4183
原创 有关 poi 读 excel 中的一些问题
有关 poi 读 excel 中的一些问题 ：读取 excel 2003-2007 和 2007以后版本 兼容问题 解决单元格日期格式读取 处理方式 读取 excel 2003-2007 和 2007以后版本 兼容问题 解决目前操作方式如下：try { org.apache.poi.hssf.record.crypto.Biff8EncryptionKey .
2016-12-11 17:14:40
455
原创 python pip install
prepare the pip install package at first download source : https://pypi.python.org/pypi/pip#downloads then you should download the file as follow then you type the command as follow python setup.p
2016-12-11 17:05:19
246
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人