Keep Learning

学习Spark、CarbonData 、Alluxio等，且为其Contributor，Github为：https://github.com/xubo245。欢迎微信联系601450868！

12月 11月 07月 06月 05月 04月 03月 02月 01月

原创 Scala学习2之spark学习6之scala版本不同的问题

Spark之scala版本不同的问题：用sbt编译有问题，但可以执行：hadoop@Master:~/cloud/testByXubo/sh_spark_xubo/WordCountByTimeNoSort$ sbtRun.sh [info] Set current project to helloworld project (in build file:/home/hadoop/c

2016-01-29 22:30:57 4462

原创 Scala学习1之用sbt和脚本一步编译打包运行scala程序

用sbt和脚本一步编译打包运行scala程序脚本：cp /home/hadoop/cloud/scala-2.10.5/sbt/LocalScala1/build* ./cp -r /home/hadoop/cloud/scala-2.10.5/sbt/LocalScala1/project ./sbt compilesbt packagesbt run

2016-01-29 17:34:55 4396 1

原创 spark学习5之sbt问题

Spark和scala之sbt问题按照参考【1】顺利安装了sbt，并显示hadoop@Master:~/cloud/scala-2.10.5$ sbt sbt-version[info] Set current project to scala-2-10-5 (in build file:/home/hadoop/cloud/scala-2.10.5/)[info] 0.13.

2016-01-28 22:11:29 8380 1

原创 hadoop之WordCoun输出文件用时间命名，避免每次运行都要修改

hadoop之WordCoun输出文件用时间命名，避免每次运行都要修改代码：//public class WordCount {////}import java.io.IOException;import java.text.SimpleDateFormat;import java.util.*; import org.apache.hadoop.conf.Con

2016-01-28 21:41:30 793

原创 JAVA问题总结之30--输出当前精度为毫秒的时间并且按时间批量建立文件

JAVA问题总结之30--输出当前精度为毫秒的时间并且按时间批量建立文件1.TimeByMs.javapackage java1;import java.util.Date;import java.text.*;public class TimeByMs { public static void main(String[] args) { // TODO Auto-ge

2016-01-28 21:30:51 1342

原创 spark学习4之集群上直接用scalac编译.scala出现的MissingRequirementError问题（已解决）

报错代码：hadoop@Master:~/cloud/test/sh_spark_xubo/SparkPi$ scalac org/apache/spark/examples/SparkPi.scala error: scala.tools.nsc.MissingRequirementError: object scala.reflect.Manifest not found. at

2016-01-27 21:40:28 3050 3

原创 spark学习3之examples中的SparkPi

Spark examples之SparkPi环境：服务器：ubuntu spark 1.5.2编写环境：window eclipse可以直接在集群上跑，为了熟悉流程，先下载到window，然后打成jar包上传运行：1.下载SparkPi.scala:地址：/home/hadoop/cloud/spark-1.5.2/examples/src/main/s

2016-01-27 19:36:24 4482

原创 Spark问题之More than one scala library found in the build path

Spark问题之More than one scala library found in the build path在window的eclipse上搭建spark时出错：More than one scala library found in the build path (D:/1win7/eclipse/plugins/org.scala-lang.scala-library

2016-01-26 22:28:25 4624

原创 Spark1.5.2在eclipse生成jar提交到集群运行

Spark1.5.2在eclipse生成jar提交到集群运行环境：window7ubuntu spark1.5.21.WordCountSpark.scala代码：//class WordCountSpark {// //}import org.apache.spark._import SparkContext._object WordCount

2016-01-26 22:05:52 2477 3

原创 window上连接集群跑hadoop问题之java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.NativeIO$Windows.

环境：window7 64位集群hadoop2.6.0，ubuntuwindow上连接集群跑hadoop问题之java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.$Windows.参照http://blog.csdn.net/congcong68/article/details/420430

2016-01-26 15:32:51 18003

原创 aspera connect使用的问题

aspera connect使用的问题：为何ascp老是报错？网络的问题？hadoop@Mcnode1:~/.aspera/connect/etc$ ascp -i ~/.aspera/connect/etc/asperaweb_id_dsa.openssh -k 1 -T -l200m anonftp@ftp.ncbi.nlm.nih.gov:1GB ./

2016-01-20 21:16:34 14160 13

原创课程流恢复步骤和恢复后的地址

课程流恢复步骤和恢复后的地址（一）课程流恢复步骤：1.安装apache、php、mysql和phpmyadmin等2.代码、附件和数据库迁移之前备份的phpwind代码不全，需要重新下discuz！3.1的代码，然后再附件等data迁移进来数据库备份的是2015.3.10之前的，不全，百度云有备份至6.25的。（二）课程流恢复的链接地址：ht

2016-01-20 15:50:29 797

原创用Aspera connect从NCBI上下载SRA格式数据

用Aspera connect从NCBI上下载SRA格式数据：一. window1.下载地址：http://downloads.asperasoft.com/connect2/2.安装很简单，略3.下载：数据下载地址：http://www.ncbi.nlm.nih.gov/projects/faspftp/1000genomes/

2016-01-13 22:08:29 18528 2

原创 BWA软件安装和使用

BWA软件安装和使用：1.安装请参考【1】2.使用：hadoop@Mcnode1:~/cloud/adam/xubo/data/down-sratool/sra$ bwa aln ../../dmel-all-chromosome-r5.37/dmel-all-chromosome-r5.37.fasta DRR047093.fastq >RAL357_1.sai[b

2016-01-13 20:54:48 13837

原创使用fastq-dump下载SRA数据

使用fastq-dump下载SRA数据环境和配置请见系列博文1.下载：fastq-dump -Z DRR047093然后会显示信息：如果文件过大会有很多可以显示制定条数fastq-dump -X 5 -Z DRR047093文件位置：自己安装sratoolkit时配置的位置hadoop@Mcnode1:~/cloud/adam/xubo/data/do

2016-01-13 19:45:25 16154 2

转载使用速铂Aspera下载NGS数据

使用速铂Aspera下载NGS数据参考：http://boyun.sh.cn/bio/?p=1933

2016-01-13 17:06:18 1624

原创 ubuntu下使用sratoolkit将sra文件转换成fastq文件

ubuntu下使用sratoolkit将sra文件转换成fastq文件：环境：ubuntu14.04sratoolkit.2.5.5-ubuntu641.下载下载地址：http://trace.ncbi.nlm.nih.gov/Traces/sra/sra.cgi?cmd=show&f=software&m=software&s=software#2.将

2016-01-13 13:57:18 10173

原创 window下使用sratoolkit将sra文件转换成fastq

window下使用sratoolkit将sra文件转换成fastq并将fastq转换成fasta文件1.ncbi下载sra文件ftp://ftp-trace.ncbi.nlm.nih.gov/sra/sra-instant/reads/ByRun/sra/SRR/SRR002/SRR002644/SRR002644.sraftp://ftp-trace.nc

2016-01-12 22:24:53 12767 2

原创 SRAtoolkit使用

SRAtoolkit使用1.下载安装：http://trace.ncbi.nlm.nih.gov/Traces/sra/sra.cgi?view=toolkit_doc&f=std.sra转fastq文件：待完成

2016-01-12 22:23:27 9074 2

原创 linux在history上加上命令执行时间，用户和IP源等

1.设置显示时间和用户：echo 'export HISTTIMEFORMAT="%F %T `whoami` "' >> /etc/profile执行source生效：source /etc/profile查看结果：history 1852 2016-01-11 16:24:52 xubo hs 1853 2016-01-11 16:24:53 xubo ls

2016-01-12 12:17:08 3327 1

原创 linux常用指令

1.列出文件清单并按时间排序，且显示的是k或者M，而非字节：ll 相当于ls -l-t 按时间排序-h 文件的实际大小,带单位显示hadoop@Master:/var/log$ ll -h -ttotal 4.5M-rw-r----- 1 syslog adm 89K 1月 11 14:22 auth.log-rw-r----- 1

2016-01-11 14:39:55 1162 5

原创人类基因组参考基因组

人类基因组参考基因组：GRCh38下载地址：ftp://ftp.1000genomes.ebi.ac.uk/vol1/ftp/technical/reference/GRCh38_reference_genome/使用以上数据的有：https://github.com/chapmanb/cloudbiolinux/blob/master/ggd-recipe

2016-01-08 22:25:25 6457

hadoop@Mcnode1:~/cloud/adam/xubo/snap$ ./snap-aligner index ../../down/xubo/GRCH38/GCA_000001405.15_GRCh38/seqs_for_alignment_pipelines.ucsc_ids/GCA_000001405.15_GRCh38_full_plus_hs38d1_analysis_set.f

2016-01-08 21:49:18 1652 2

原创 amplab实验室的SNAP算法运行和操作

amplab实验室的SNAP算法运行和操作：环境：ubuntu14.041.安装：参考【1】和【2】，需要：g++ version 4.6zlib 1.2.8 from http://zlib.net/安装：sudo apt-get install g++sudo apt-get install zlib1g-devzlib没有直接的安装包，

2016-01-08 17:07:16 1908

原创待学习

工具：adam—使用Apache Avro, Apache Spark 和 Parquet的基因组处理引擎，有专用的文件格式，Apache 2软件许可。bioscala —Scala语言可用的生物信息学程序库论文：https://scholar.google.com/scholar?cluster=12239508958754333100&hl=zh-CN&as_sdt

2016-01-07 15:14:15 694

CarbonData学习资料

Apache CarbonData学习文档汇总，包含视频/文档/文件等。

2018-11-22

opencv 3.4.1 jar

opencv-341.jar. for invoking opencv,you can add the code to your project

2018-05-16

高级Shell脚本编程

高级Shell脚本编程,高级Shell脚本编程

2016-03-15

2015年中国软件开发者白皮书

2016-01-12

neo4j-javadocs-2.3.1-javadoc.jar

neo4j-javadocs-2.3.1-javadoc.jar neo4j 2.3.1 API

2015-11-26

neo4j-enterprise-2.3.1-unix.tar.gz

neo4j-enterprise-2.3.1-unix.tar.gz，官网下载

2015-11-25

neo4j-enterprise-2.3.0-M03-unix.tar.gz

neo4j-enterprise-2.3.0-M03-unix.tar.gz,官网下载

2015-11-25

资金流入流出预测大赛冠军答辩PPT

资金流入流出预测大赛冠军答辩PPT，资金流入流出预测冠军答辩PPT 阿里云天池

2015-09-09

redis-3.0.4安装包

redis-3.0.4.tar.gz，redis-3.0.4安装包，官网下载

2015-09-09

JDK.API.7_English.chm

JDK.API.7_English.chm Java™ Platform, Standard Edition 7 API Specification This document is the API specification for the Java™ Platform, Standard Edition.

2015-08-24

Java 2 SE 6 Documentation.chm

Java 2 SE 6 Documentation.chm JavaTM SE 6 Platform at a Glance This document covers the JavaTM Platform, Standard Edition 6 JDK. Its product version number is 6 and developer version number is 1.6.0, as described in Platform Name and Version Numbers. For information on a feature of the JDK, click on a component in the diagram below.

2015-08-24

JavaSE中文API.chm

JavaSE中文API.chm JavaTM 2 Platform Standard Edition 5.0 API 规范本文档是 Java 2 Platform Standard Edition 5.0 的 API 规范。

2015-08-24

jdk api 1.7英文版-带索引

java, jdk api 1.7英文版-带索引,English,Index,Java™ Platform, Standard Edition 7 API Specification

2015-08-24

微软、谷歌、百度、腾讯等各大公司笔试面试题整理全版.rar

2015-08-20

10部算法经典著作的合集

2015-08-20

百度人搜，阿里巴巴，腾讯华为小米搜狗笔试面试八十题.pdf

2015-08-20

色彩空间转换matlab

色彩空间转换matlab RGB HSV YIQ NTSC

2014-04-14

isrgb.m,matlab

isrgb.m matlab rgb function y = isrgb(x) %ISRGB Return true for RGB image. % FLAG = ISRGB(A) returns 1 if A is an RGB truecolor image and % 0 otherwise. % % ISRGB uses these criteria to determine if A is an RGB image: % % - If A is of class double, all values must be in the range % [0,1], and A must be M-by-N-by-3. % % - If A is of class uint8 or uint16, A must be M-by-N-by-3. % % Note that a four-dimensional array that contains multiple RGB % images returns 0, not 1. % % Class Support % ------------- % A can be of class uint8, uint16, or double. If A is of % class logical it is considered not to be RGB. % % See also ISBW, ISGRAY, ISIND. % Copyright 1993-2003 The MathWorks, Inc. % $Revision: 1.15.4.2 $ $Date: 2003/08/23 05:52:55 $ wid = sprintf('Images:%s:obsoleteFunction',mfilename); str1= sprintf('%s is obsolete and may be removed in the future.',mfilename); str2 = 'See product release notes for more information.'; warning(wid,'%s\n%s',str1,str2); y = size(x,3)==3; if y if isa(x, 'logical') y = false; elseif isa(x, 'double') % At first just test a small chunk to get a possible quick negative m = size(x,1); n = size(x,2); chunk = x(1:min(m,10),1:min(n,10),:); y = (min(chunk(:))>=0 && max(chunk(:))=0 && max(x(:))<=1); end end end

2014-03-27

C语言头函数包include

C语言头函数包include stdio.h stdlib.h等

2013-10-18

计算方法实验Gauss_Seidel法和Runge_Kutta法

计算方法实验说明文档 PB10210016 徐波实验要求：第二版208页程序15 第二版208页程序20，将二阶改为四阶，求第二个实验环境：操作系统：Windows8 64位　编译软件:Code::Blocks 版本：10.05 位数：32位实验提交时间：　考前实验说明： Gauss_Seidel：左侧为数据文档，为了方便多次测试，可将txt文档中数据复制到exe中运行，输入规范请见上图上图为正确输出之一 Runge_Kutta 左侧为数据文档，为了方便多次测试，可将txt文档中数据复制到exe中运行，输入规范请见上图上图为正确输出之一附件：程序15：Gauss_Seidel代码、可运行exe程序、输入数据文件和运行截图程序20：Runge_Kutta代码、可运行exe程序、输入数据文件和运行截图实验心得：　　通过这次实验，对Gauss_Seidel法和Runge_Kutta法了解更深，并且有了实际运行经验，而且通过编程，对方法每一步的运算数据的输入输出了解更深，总的来说收获很大，我们应该多写些类似的程序，希望能将其放在网页上，输入数据就能运行出结果。 PB10210016 徐波 2013.5.28 代码请联系QQ：601450868　　

2013-10-17

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人