Keep Learning

学习Spark、CarbonData 、Alluxio等，且为其Contributor，Github为：https://github.com/xubo245。欢迎微信联系601450868！

12月 11月 07月 06月 05月 04月 03月 02月 01月

原创 c语言复习2值指针实战

2015阿里巴巴招聘在线笔试试题_数据研发工程师题目：（2）已知inta[]={1,2,3,4,5};int*p[]={a,a+1,a+2,a+3};int**q=p;表达式* （p[0]+1） +**(q+2)的值是 _。A.5B.6C.7D.8E.4F.9分析：p为指针数组，每一组的开始分别是指向a,a+1,a+2,a+3所代表的地址的指针，比如p[0]=a=&

2016-03-30 11:02:19 605

原创 C语言复习1之指针

1.变量的属性c语言中变量的地址和值的概念，比如： int x=1; printf("x value:%d\n",x); printf("x address:%d\n",&x);输出：x value:1x address:1638212Press any key to continue2 指针的定义：假设 int *p=&a, 即int *p;

2016-03-30 10:27:13 723

原创 Spark中组件Mllib的学习1之Kmeans错误解决

解决办法：（中间比较多，为了方便看到，放在最开始）txt文件格式不对，用WPS转存的是UTF-16，spark跑的时候有问题代码和数据请参考【1】【2】问题：hadoop@Master:~/cloud/testByXubo/sh_spark_xubo/mllib/kmeans/KMeansTest3ByIBM$ ./submitJob.sh [Stage 0:>

2016-03-29 18:09:59 3932

原创 Linux学习6之环境下暂停进程和恢复暂停的进程

1.查看进程号，有很多中方式：比如：top下图PID即为进程号或者：hadoop@Mcnode4:~$ ps -aux| grep bwahadoop 9394 4.5 78.4 5722420 4786516 pts/27 Sl+ 3月27 77:35 bwa mem GCA_000001405.15_GRCh38/GCA_000001405.15_

2016-03-28 21:34:17 3467

原创 Scala学习8之排序算法比较和实现（scala）

排序算法比较和实现（scala）+查找待完成：插入排序冒泡排序希尔排序快速排序归并排序直接选择排序堆排序桶排序计数排序基数排序。。。

2016-03-24 21:29:28 925

原创 Java问题总结之32-内存释放

l归纳起来，对象清除的途径有： (1) 依靠Java的垃圾回收机制回收内存空间。 (2) 调用System.gc()方法，请求垃圾回收。 (3) Java系统开始运行时，自动调用java.lang.Object.finalize()方法释放内存空间。 (4) 在程序中重写的finalize()方法释放系统资源，格式为： protected void finali

2016-03-24 20:42:42 1561

原创 Java问题总结之31-成员变量声明

[修饰符] 类型变量名；修饰符有：①public。指明变量为公有，即程序中的其他类均可访问此类中的变量。②protected.指明变量为受保护访问。可被同一个包中的其他类、不同包中此类的子类以及此类自身所访问和引用。③private。指明变量为私有访问。只能被此类自己访问或调用，是对成员变量的最高级保护。④static。指明变量为静态变量，否则为

2016-03-24 20:24:08 780

原创 Scala学习7之scala与java不同之总结3-特质和接口

1.scala和java为了避免出现菱形继承的问题，都只能继承一个类，但都可以继承多个特质（scala）或者接口（java）；java中使用接口interfere，接口里面只能包含抽象方法，不能包含字段，也不能包含具体的方法；而scala使用的是特质trait，既可以包含抽线方法，也可以包含具体方法；而且在trait中，抽象方法不用abstract声明，子类继承时也不用override

2016-03-24 12:17:24 1894 1

原创 Scala学习6之scala与java的不同之总结2-重写override

scala与java的不同之总结21.重写 scala：override def getAge(){}java:@overridepublic Int getAge(){}2.scala可以使用private[this]来更细化限定权限3.scala对抽象类继承时，子类对父类的方法不用override，直接可以进行修改。对抽象字段也不用overr

2016-03-24 11:20:27 1354

原创 Scala学习5之scala与java的不同之总结1

1.scala不同声明变量的具体类型，只需要声明是var还是val，即变量或不变量,由编译器自动判断。而java需要具体声明，比如Int，String2.scala函数声明返回值是声明在后面，而且可以不用return，直接在最后写返回变量或常量即可。比如 def main(args:Array[String])：Int={ println("hello")

2016-03-24 10:04:22 1963

原创 Linux学习5之查找文件中的某个字符串并返回所在行号

指令：head filename |grep -n string运行记录：hadoop@Mcnode1:~/cloud/adam/xubo/data/test20160310/GCA_000001405.15_GRCh38$ cat GCA_000001405.15_GRCh38_full_analysis_set.fna |grep -n chr 1:>chr1 AC:CM

2016-03-17 19:31:42 9137

原创基因数据处理17之使用scala对BWA运行结果进行各阶段程序时间提取和统计求和

提取代码：package testimport scala.io.Source import java.io.File._import java.io.PrintWriterobject logPatternBwaAll extends App {val out=new PrintWriter("file/bwaResult/allbwa.txt")val files = (ne

2016-03-17 18:54:13 1145

原创基因数据处理16之scala对BWASW运行结果进行时间统计

说明：环境如上篇对BWASW数据处理的时候pattern需要修改，由于有很多这样的段：[bsw2_aln] read 17598 sequences/pairs (10000016 bp) ...[bsw2_aln] read 17644 sequences/pairs (10000056 bp) ...[bsw2_aln] read 17650 sequences/pai

2016-03-17 18:47:03 1234

原创基因数据处理15之scala对BWA运行结果进行时间提取

环境：window eclpise 4.3.2scala 2.10.4正则表达式代码：package testimport scala.io.Source import java.io.File._import java.io.PrintWriterobject logPatternBWA extends App {val out=new PrintWr

2016-03-16 18:21:19 1567

原创 Linux学习6之shell筛选当前目录下文件并逐个对其进行操作

代码：hadoop@Master:~/cloud/adam/xubo/code$ cat a.sh #!/bin/bash#SRR003161h20t1#samtools view -h -S SRR003161h20t1.sam >SRR003161h20t1.bam #samtools sort -o SRR003161h20t1.sorted.bam SRR003161h20t

2016-03-15 21:13:56 5712

原创 Linux学习5之shell显示当前目录下所有的文件和文件夹

hadoop@Mcnode4:~/cloud/adam/xubo/data/test20160310/bwa3sh/test142234$ cat showFileAndDirectory.sh #!/bin/bashdir=$(ls -l ./ |awk '!/^d/ {print $NF}')for i in $dirdo echo "File:"$idonedir=$

2016-03-15 20:27:39 8650

原创 NetBeans IDE 中国教育考试版(2007)使用说明和演示教程

NetBeans IDE 中国教育考试版(2007)使用说明和演示教程官方网址：http://www.neea.edu.cn/hotinfo/infor.jsp?infoid=26910&class_id官方说明：为适应新技术的发展，同时向考生提供更好的学习平台，教育部考试中心将NetBeans IDE引进到NCRE二级的Java考试中，Sun公司为此专门定制了“N

2016-03-15 15:57:33 10352 3

原创 Linux学习4之shell脚本中的小数运算

1.awkhadoop@Mcnode1:~/cloud/adam/xubo/data/test20160310/test$ cat demical.sh #!/bin/bashecho `awk -v x=2.45 -v y=3.123 'BEGIN{printf "%.2f\n",x*y}'`s=1.5echo $secho `awk -v x=2.45 -v y="$s" 'B

2016-03-15 12:51:59 21508

原创 Linux学习3之shell的if大小比对使用

if的大小比对：#!/bin/sha=10b=20if [ $a == $b ]then echo "a is equal to b"elif [ $a -gt $b ]then echo "a is greater than b"elif [ $a -lt $b ]then echo "a is less than b"else echo "No

2016-03-15 10:20:48 7857

原创 Linux学习2之shell脚本计算代码段运行的时间（精确到毫秒）

最后一种最简洁！基本的一种，可以调试，提升三种hadoop@Mcnode1:~/cloud/adam/xubo/data/test20160310/test$ cat a.sh #!/bin/bashstartTime=`date +"%Y-%m-%d %H:%M:%S.%N"` for((i=1;i<=10;i++));do echo $(expr $i \* 4);done

2016-03-14 22:03:02 11869 1

原创 Linux学习1之shell中将脚本文件调用函数的输出值输出到文件

一般a.sh等脚本文件可以很容易的将a.sh的echo等数据输出到文本文件，如：./a.sh >1.txt但是无法将脚本文件调用函数的输出值输出到文件可以使用%>:hadoop@Mcnode1:~/cloud/adam/xubo/data/test20160310/test$ ./a.sh %> 1.txt a.sh代码：hadoop@Mcnode1:~/clou

2016-03-14 21:33:38 3881

原创基因数据处理14之BWA三种方式bwa、BWA_SW、BWA_MEM使用

1.构建索引：bwa index ref.fa或者从ftp下载，请参考【1】2.BWA：bwa.sh为脚本文件hadoop@Master:~/cloud/adam/xubo/data/test20160310/bwa3sh$ cat bwa.sh #!/bin/bashbwa aln ../GCA_000001405.15_GRCh38/GCA_000001405.

2016-03-13 20:30:44 11126

原创基因数据处理13之bwa处理SRR003161

基因数据处理13之bwa处理SRR003161hadoop@Master:~/cloud/adam/xubo/data/test20160310$ bwa aln GCA_000001405.15_GRCh38/GCA_000001405.15_GRCh38_full_analysis_set.fna SRR003161.fastq >SRR003161.sai[bwa_aln] 17b

2016-03-13 19:04:05 1479

原创基因数据处理12之samtool的tview来查看sam的匹配文件

基因数据处理12之samtool的tview来查看sam的匹配文件具体的之前有文章讲过：http://blog.csdn.net/xubo245/article/details/50836185记录：1.运行 samtools tview SRR003161h20Sorted.bam GCA_000001405.15_GRCh38/GCA_000001405.15_GRCh

2016-03-13 17:41:41 7934

原创基因数据处理11之sam文件格式

基因数据处理11之sam文件格式SAM的全称是sequence alignment map format。而BAM就是SAM的二进制文件(B取自binary)1. read名称2. SAM标记3. chromosome4. 5′端起始位置5. MAPQ（mapping quality，描述比对的质量，数字越大，特异性越高）6. CIGAR字串，记录插入，删除，错配以及s

2016-03-13 16:44:49 3589

原创基因数据处理10之BWA处理速度太慢

基因数据处理9之BWA处理速度太慢：hadoop@Mcnode1:~/cloud/adam/xubo/data/data_HDFS/GRCH38/GCA_000001405.15_GRCh38/test20160310$ bwa aln GCA_000001405.15_GRCh38/GCA_000001405.15_GRCh38_full_analysis_set.fna SRR003161

2016-03-13 14:30:00 2820

原创基因数据处理9之BWA小数据集测试（成功）

基因数据处理9之BWA小数据集测试（成功）hadoop@Mcnode1:~/cloud/adam/xubo/data/data_HDFS/GRCH38/GCA_000001405.15_GRCh38/test20160310$ cat SRR003161.fastq |head -20 >SRR003161h20.fastqhadoop@Mcnode1:~/cloud/adam/xubo

2016-03-12 22:52:38 2270

原创基因数据处理8之BWA_MEM小数据集处理（成功）

基因数据处理7之BWA_MEM小数据集处理环境：ubuntu14.04 6G内存参考基因：GRCH38 来源请参考【1】fastq数据：SRR003161.fastq 的头20行，即5条reads操作记录：hadoop@Master:~/cloud/adam/xubo/data/test20160310$ cat SRR003161.fastq |head -20 >S

2016-03-12 22:09:58 4251

原创基因数据处理7之BWA_MEM运行太长

基因数据处理6之BWA_MEM运行太长hadoop@Master:~/cloud/adam/xubo/data/test20160310$ bwa mem GCA_000001405.15_GRCh38/GCA_000001405.15_GRCh38_full_analysis_set.fna SRR003161.fastq >SRR003161b.sam[M::bwa_idx_load

2016-03-12 22:03:50 2914

原创基因数据处理6之BWA_MEM无法分配内存

基因数据处理之BWA_MEM无法分配内存：建立BWA索引的时候内存不足，现在用BWA-MEM又内存不足，真耗内存hadoop@Mcnode1:~/cloud/adam/xubo/data/data_HDFS/GRCH38/GCA_000001405.15_GRCh38/test20160310$ bwa mem GCA_000001405.15_GRCh38/GCA_

2016-03-12 14:26:10 3931 7

原创基因数据处理5之GRCH38数据源和查看信息

数据源：ftp://ftp.ncbi.nlm.nih.gov/genomes/all/GCA_000001405.15_GRCh38/seqs_for_alignment_pipelines.ucsc_ids/GCA_000001405.15_GRCh38_full_analysis_set.fna.gz可以用ftp或者wget解压：gzip -d GCA_000001405.15

2016-03-11 19:29:06 18219

原创基因数据处理4之BWA索引内存不够

基因数据处理4之BWA索引内存不够hadoop@Mcnode1:~/cloud/adam/xubo/data/data_HDFS/Ref/RefFromBwaGit$ bwa index GRCH38.fa [bwa_index] Pack FASTA... 37.70 sec[bwa_index] Construct BWT for the packed sequence..

2016-03-11 16:19:57 3689 1

原创基因数据处理3之bwakit安装和使用

基因数据处理3之bwakit安装和使用1.下载方法1：http://bio-bwa.sourceforge.net/方法2：https://github.com/lh3/bwa/tree/master/bwakit方法3： wget http://sourceforge.net/projects/bio-bwa/files/bwakit/bwakit-0

2016-03-11 12:28:28 2238

原创基因数据处理2之ftp数据快速查找

基因数据处理2之ftp数据快速查找linux下可以用grep:curl -s "ftp://ftp.1000genomes.ebi.ac.uk/vol1/ftp/current.tree" | grep NA12878运行结果：hadoop@Mcnode1:~/cloud/adam/xubo/testAdam34/TestBaiBas$ curl -s "ftp://f

2016-03-10 21:21:07 1557

原创基因数据处理1之mapping_to_cram

基因数据处理1之mapping_to_cram参考资料：A Worked ExampleObtain some public dataWe will use the first 100,000 read-pairs from a yeast data set.curl ftp://ftp.sra.ebi.ac.uk/vol1/fastq/SRR507/SRR5077

2016-03-10 12:17:52 2619

原创使用samtools来对sam/bam/cram相互转换

使用samtools来对sam/bam/cram相互转换sam bamsamtools view -h NA12878.bam >NA12878_2.sam samtools view -b -S NA12878.sam > NA12878_2.bam samtools view -C -T ref.fa aln.bam > aln.cramsamtoo

2016-03-09 22:58:59 37706

原创 SAMtools的常用指令

1.Samtools的help：hadoop@Mcnode1:~/cloud/adam/xubo/data/data_HDFS/adam$ samtools --helpProgram: samtools (Tools for alignments in the SAM format)Version: 1.3-20-gd49c73b (using htslib 1.3-35-g26b30

2016-03-09 22:27:40 6252 1

原创问题之htslib安装时没有zlib

问题之htslib安装时没有zlib问题：HTSlib uses compression routines from the zlib library .Building HTSlib requires zlib development files to be installed on the buildmachine; you may need to ensure a package

2016-03-09 21:16:21 4314

原创 Samtools说明文档网址变更

很多地方都有这个连接：samtools的说明文档：http://samtools.sourceforge.net/samtools.shtml但是连不上了，所以现在的地址为：http://www.htslib.org/doc/samtools.html分析原因：连接超时samtools.sourceforge.net 的服务器响应时间过长。此站点暂时不可用或者太

2016-03-09 15:02:41 2689

原创 htslib和Samtool安装步骤

htslib和Samtool安装步骤（一）htslib安装：参考【1】1.下载：git clone https://github.com/samtools/htslib.git2.安装指令：autoconf # Generate the configure script, if needed./configure # Optional,

2016-03-09 14:52:43 22014

CarbonData学习资料

Apache CarbonData学习文档汇总，包含视频/文档/文件等。

2018-11-22

opencv 3.4.1 jar

opencv-341.jar. for invoking opencv,you can add the code to your project

2018-05-16

neo4j-javadocs-2.3.1-javadoc.jar

neo4j-javadocs-2.3.1-javadoc.jar neo4j 2.3.1 API

2015-11-26

neo4j-enterprise-2.3.1-unix.tar.gz

neo4j-enterprise-2.3.1-unix.tar.gz，官网下载

2015-11-25

neo4j-enterprise-2.3.0-M03-unix.tar.gz

neo4j-enterprise-2.3.0-M03-unix.tar.gz,官网下载

2015-11-25

资金流入流出预测大赛冠军答辩PPT

资金流入流出预测大赛冠军答辩PPT，资金流入流出预测冠军答辩PPT 阿里云天池

2015-09-09

redis-3.0.4安装包

redis-3.0.4.tar.gz，redis-3.0.4安装包，官网下载

2015-09-09

JDK.API.7_English.chm

JDK.API.7_English.chm Java™ Platform, Standard Edition 7 API Specification This document is the API specification for the Java™ Platform, Standard Edition.

2015-08-24

Java 2 SE 6 Documentation.chm JavaTM SE 6 Platform at a Glance This document covers the JavaTM Platform, Standard Edition 6 JDK. Its product version number is 6 and developer version number is 1.6.0, as described in Platform Name and Version Numbers. For information on a feature of the JDK, click on a component in the diagram below.

2015-08-24

JavaSE中文API.chm

JavaSE中文API.chm JavaTM 2 Platform Standard Edition 5.0 API 规范本文档是 Java 2 Platform Standard Edition 5.0 的 API 规范。

2015-08-24

jdk api 1.7英文版-带索引

java, jdk api 1.7英文版-带索引,English,Index,Java™ Platform, Standard Edition 7 API Specification

2015-08-24

微软、谷歌、百度、腾讯等各大公司笔试面试题整理全版.rar

2015-08-20

10部算法经典著作的合集

2015-08-20

百度人搜，阿里巴巴，腾讯华为小米搜狗笔试面试八十题.pdf

2015-08-20

色彩空间转换matlab

色彩空间转换matlab RGB HSV YIQ NTSC

2014-04-14

isrgb.m,matlab

isrgb.m matlab rgb function y = isrgb(x) %ISRGB Return true for RGB image. % FLAG = ISRGB(A) returns 1 if A is an RGB truecolor image and % 0 otherwise. % % ISRGB uses these criteria to determine if A is an RGB image: % % - If A is of class double, all values must be in the range % [0,1], and A must be M-by-N-by-3. % % - If A is of class uint8 or uint16, A must be M-by-N-by-3. % % Note that a four-dimensional array that contains multiple RGB % images returns 0, not 1. % % Class Support % ------------- % A can be of class uint8, uint16, or double. If A is of % class logical it is considered not to be RGB. % % See also ISBW, ISGRAY, ISIND. % Copyright 1993-2003 The MathWorks, Inc. % $Revision: 1.15.4.2 $ $Date: 2003/08/23 05:52:55 $ wid = sprintf('Images:%s:obsoleteFunction',mfilename); str1= sprintf('%s is obsolete and may be removed in the future.',mfilename); str2 = 'See product release notes for more information.'; warning(wid,'%s\n%s',str1,str2); y = size(x,3)==3; if y if isa(x, 'logical') y = false; elseif isa(x, 'double') % At first just test a small chunk to get a possible quick negative m = size(x,1); n = size(x,2); chunk = x(1:min(m,10),1:min(n,10),:); y = (min(chunk(:))>=0 && max(chunk(:))=0 && max(x(:))<=1); end end end

2014-03-27

C语言头函数包include

C语言头函数包include stdio.h stdlib.h等

2013-10-18

计算方法实验Gauss_Seidel法和Runge_Kutta法

计算方法实验说明文档 PB10210016 徐波实验要求：第二版208页程序15 第二版208页程序20，将二阶改为四阶，求第二个实验环境：操作系统：Windows8 64位　编译软件:Code::Blocks 版本：10.05 位数：32位实验提交时间：　考前实验说明： Gauss_Seidel：左侧为数据文档，为了方便多次测试，可将txt文档中数据复制到exe中运行，输入规范请见上图上图为正确输出之一 Runge_Kutta 左侧为数据文档，为了方便多次测试，可将txt文档中数据复制到exe中运行，输入规范请见上图上图为正确输出之一附件：程序15：Gauss_Seidel代码、可运行exe程序、输入数据文件和运行截图程序20：Runge_Kutta代码、可运行exe程序、输入数据文件和运行截图实验心得：　　通过这次实验，对Gauss_Seidel法和Runge_Kutta法了解更深，并且有了实际运行经验，而且通过编程，对方法每一步的运算数据的输入输出了解更深，总的来说收获很大，我们应该多写些类似的程序，希望能将其放在网页上，输入数据就能运行出结果。 PB10210016 徐波 2013.5.28 代码请联系QQ：601450868　　

2013-10-17

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

CarbonData学习资料

opencv 3.4.1 jar

高级Shell脚本编程

2015年中国软件开发者白皮书

neo4j-javadocs-2.3.1-javadoc.jar

neo4j-enterprise-2.3.1-unix.tar.gz

neo4j-enterprise-2.3.0-M03-unix.tar.gz

资金流入流出预测大赛冠军答辩PPT

redis-3.0.4安装包

JDK.API.7_English.chm

Java 2 SE 6 Documentation.chm

JavaSE中文API.chm

jdk api 1.7英文版-带索引

微软、谷歌、百度、腾讯等各大公司笔试面试题整理全版.rar

10部算法经典著作的合集

百度人搜，阿里巴巴，腾讯华为小米搜狗笔试面试八十题.pdf

色彩空间转换matlab

isrgb.m,matlab

C语言头函数包include

计算方法实验Gauss_Seidel法和Runge_Kutta法

空空如也