2015年09月_u010585120

原创 Linux命令真的diff命令

diff命令是Linux中非常重要的工具，用于比较文件的内容，特别是比较两个版本不同的文件以找到改动的地方。diff在命令行中打印每一行的改动。最新版本的diff还支持二进制文件。diff程序的输出被称为补丁(patch)，因为Linux系统中还有一个patch程序，可以根据diff的输出将a.c的文件内容更新为b.c。diff是svn，cvs，git等版本控制工具中不可缺少的一部分。【文件格

2015-09-30 13:36:58 708

原创 shell编程中的$@和$*的区别

不回引号时， $@ 和 $* 相同加双引号时参数： "1 2" 4"$@" 表示所有的参数，即 "1 2" 4"$*" 表示把所有的参数扩展并形成一个字符串 "1 2 4"set -- "1 2" 4现在有两个参数： "1 2" 和 4for i in $@;do echo "[$i]";done[1][2

2015-09-30 08:59:40 618

原创 Linux中的df命令【简单使用】

linux中的df命令的功能是用来检查Linux服务器的文件系统的磁盘占用情况。可以利用该命令来获取磁盘被占用了多少空间，目前还剩下多少空间等信息。【命令格式】df 【选项】【文件】【命令功能】显示指定磁盘文件的可用空间。如果没有指定文件名称，则当前所有的被挂载的文件系统的空间将被显示。默认情况下，磁盘空间将以1kb位单位进行显示。【命令参数】-a 全部文件系统的列表

2015-09-29 16:03:47 4015 1

原创 Elasticsearch Facet的一个例子

Facet【聚类】，在elacticsearch搜索结果的基础上，对某个字段按照内容的不同进行分类统计。package bio_rdf.impl.fieldfacet;import org.elasticsearch.action.search.SearchRequestBuilder;import org.elasticsearch.action.search.SearchRespon

2015-09-28 14:48:25 3302 1

转载 rsync同步常用命令

如果你是一位运维工程师，你很可能会面对几十台，几百台甚至上千台服务器，除了批量操作外，环境同步和数据同步也是必不可少的技能。说道同步，不得不提的利器就是rsync，今天就说说我们从这个工具中看到的同步艺术。【不带任何选项】我们经常这样使用rsync：$ rsync main.c machineB:/home/userB1 只要目的端的问价内容和源端不一样，

2015-09-25 15:33:11 871

转载 Linux中的常用目录结构

http://www.cnblogs.com/JCSU/articles/2770249.html

2015-09-25 11:03:16 325

原创 liunx下rsync命令详细整理

在对rsync服务器配置结束以后，下一步就需要在客户端发出rsync命令来实现将服务器的文件备份到客户端来。rsync是一个功能强大的工具，其命令也有很多功能特色选项。Rsync的命令格式可以为以下六种：　　rsync [OPTION]... SRC DEST 　　rsync [OPTION]... SRC [USER@]HOST:DEST 　　rsync [OPTION]...

2015-09-25 08:59:23 445

原创 Jbrowse中Alignment track的具体配置方法

需要将配置信息配置在tracks.conf文件当中。具体配置用例：[ tracks . Sclera-2days-fellow ]style.height = 7key = BAM - Sclera-2days-fellow.bamstoreClass = JBrowse/Store/SeqFeature/BAMurlTemplate = data/Sclera-2days-fel

2015-09-24 08:45:30 1022

原创 jbrowse中配置左边菜单的解决方法

首先，需要把要显示的序列配置进物种文件夹当中的trackList.json配置文件。然后，将路径配置进入左边菜单栏中。箭头（1）所指的位置，内容分要和trackList.conf中的track name一致箭头（2）所指的位置上的配置内容是wiggle track的对应数据文件【big wiggle类型】箭头（3）所指的位置的配置内容是菜单当中的分类，如图：

2015-09-21 11:32:58 1204

原创 Jbrowse中wiggle track中的刻度尺随着视野范围自动调整功能的实现

如图所示：红色箭头所指的刻度尺刻度范围，会随着视野范围的改变而不断的变化。实现方法：箭头所指的属性“autoscale”，当值为local的时候，会出现以上效果。配置所在的文件位置:子数据项里面的trackList.conf文件

2015-09-21 09:53:55 626

原创 Jbrowse染色体片段的显示的配置方法

使用gff3格式的数据，通过jbrowse自带的perl脚本进行转化，具体命令实例如下所示：bin/flatfile-to-json.pl --gff data_files/小鼠.GRCm38.78.gff --trackType CanvasFeatures --out sample_data/json/Guinea_pigs --trackLabel Guinea_pigs

2015-09-18 17:02:10 2128

原创 Jbrowse中的BigWig Tracks配置

上述图中，红色箭头所指的是bigwig文件，缩写是bw文件.【bigwig文件可以通过bedGraph文件转化得到】基因浏览器有两种方式来解析数据构成bigwig trace直接读取bigwig类型的文件通过perl脚本解析bedGraph类型的文件在jbrowse下执行【bin/wig-to-json.pl --wig data_files/巩膜-4周-差异甲基化.bed

2015-09-18 16:45:55 2466

原创 Jbrowse【基因浏览器】配置物种选择项的配置方法

下面是要配置如上箭头所指的物种选择项的方法：in jbrowse.conf[datasets/volvox]url = ?data=sample_data/json/volvoxname = Volvox Example[datasets/modencode]url = ?data=sample_data/json/modencodename = MODEnc

2015-09-18 16:39:27 2024

转载邻近匹配中的多值字段查询

多值字段(Multivalue Fields)在多值字段上使用短语匹配会产生古怪的行为：PUT /my_index/groups/1{ "names": [ "John Abraham", "Lincoln Smith"]}运行一个针对Abraham Lincoln的短语查询：GET /my_index/groups/_search{ "q

2015-09-16 11:15:02 539

原创 Tomcat启动读取applicationContext.xml出错的解决方式

nested exception is org.xml.sax.SAXParseException: cvc-elt.1: Cannot find the declaration of element 'beans'. at org.springframework.beans.factory.xml.XmlBeanDefinitionReader.doLoadBeanDefin

2015-09-16 09:52:49 2505

转载 Elasticsearch中的邻近匹配【proximity Matching】

使用了TF/IDF的标准全文搜索将文档或者文档中的某个字段，视为一大袋子单词。match查询能够告诉我们这个袋子当中是否包含了我们所要生产的单词，但是这只是一个方面。它不能告诉我们单词之间任何关系的信息。考虑以下这些句子的区别：Sue ate the alligator.The alligator ate Sue.Sue never goes any

2015-09-15 11:18:56 585

转载多次查询以及查询的合并

如果我们一次只能搜索一个词，那么全文搜索就会显得相当不灵活。幸运的是，通过match来实现多次查询也同样简单：GET /my_index/my_type/_search{ "query": { "match": { "title": "BROWN DOG!" } }}以上查询会返回所有的四份文档：{

2015-09-14 14:44:58 1126

转载 match查询

全文搜索(full text search)：对于文本的查询可以分为两类：基于词条的查询(Term-based Queries)和全文查询(Full-Text Queries)基于词条的查询：类似于term和fuzzy的查询是不含有解析阶段的低级查询。它们在单一词条上进行操作。一个针对词条Foo的term查询会在倒排索引中寻找该词条的精确匹配(Exact term)，然后对每一份含有该

2015-09-14 13:36:01 550

原创 Linux命令中的tar命令

linux下最常用的打包程序就是tar了，使用tar程序打出来的包，通常称为tar包，

2015-09-11 14:21:04 563

原创 Linux中的chmod命令

chomod命令用于改变linux系统文件或者目录的访问权限。该命令有两种用法：一种是包含字母和操作符表达式的文字设定法；另外一种是包含数字的数字设定法；LInux系统中的每个文件和目录都有访问许可权限，用它来确定谁可以通过何种方式对文件和目录进行访问和操作。文件和目录的访问权限包括只读、只写和可执行三种。可执行权限表示允许将该文件作为一个程序执行。文件被创建的时候，文件所有者将自动拥有该

2015-09-11 10:35:22 673

原创 MongoDB分片技术

在mongodb中存在另外一种集群，就是分片技术，当数量级达到TB的时候，磁盘和内存就会吃不消，这个时候就要用到MongoDB的分片技术了。MongoDB分片技术：将集合进行拆分，然后将集合均摊到几个分片上面。概念解释：mongos：首先我们要了解“片键”的概念，也就是说拆分集合的依据是什么？按照什么键值进行拆分集合。mongos就是一个路由服务器，它会根据管理员设置的“片键”键数据分

2015-09-11 09:02:40 341

转载 Elasticsearch 分片交互过程分析

http://my.oschina.net/galenz/blog/422189一、Elasticseach如何将数据存储到分片中问题：当我们要在ES中存储数据的时候，数据应该存储在主分片和复制分片中的哪一个中去；当我们在ES中检索数据的时候，又是怎么判断要查询的数据是属于哪一个分片。数据存储到分片的过程是一定规则的，并不是随机发生的。

2015-09-10 14:23:07 1722

原创 Mongodb学习----主从数据库

在企业应用中，肯定不希望数据库做单点部署，如果碰到服务器宕机或者硬件毁灭性故障，将有不可挽回的损失。主从数据库的架构优势：数据备份数据恢复读写分离

2015-09-10 08:49:42 542

原创 ElasticSearch更新字段类型的具体解决办法（重要）

前几天遇到的问题，elasticsearch中已经导入了将近两亿条数据，但是客户方又需要把其中的一个字段由string类型改为date类型，本来以为这是一个很简单的问题，但是。。。麻烦大了这个麻烦就是，当你要给已经索引好的文档改变其中一个字段类型的时候，需要对所有的数据重新索引！！！！！下面是利用elasticsearch java api实现的一个数据重新索引工具：package e

2015-09-09 16:54:12 18648 3

原创 ElasticSearch reindex by JAVA API

package elasticsearch.importdata;import org.elasticsearch.action.search.SearchResponse;import org.elasticsearch.action.search.SearchType;import org.elasticsearch.client.Client;import org.elastics

2015-09-09 14:41:33 3509

转载 Elasticsearch中的默认映射，重索引和索引别名

转载自：http://blog.csdn.net/dm_vincent/article/details/41643793默认映射：一般情况下索引中的所有类型都会有相似的字段和设置。因此将这些常用设置在_default映射中指定会更加方便，这样就不需要在每次创建新类型的时候重复设置。_default映射的角色是新类型的模板。所有在_defautl映射之后创建的类型都会包含所有的默认设置，除非

2015-09-08 13:31:25 4404

转载 Elasticsearch中的动态映射

转载自：http://blog.csdn.net/dm_vincent/article/details/41593987当ES在文档中碰到一个以前没有见过的字段的时候，它会利用动态映射来决定改字段的类型，并且自动地对该字段添加映射。有时候这正是需要的行为，但有时候不是。或者你希望这些未知的字段会抛出异常来提醒你注意这个问题。对于动态映射可以通过dynamic来进行控制，它接受一下选项：

2015-09-08 10:22:47 800

转载 Elasticsearch中的根对象（Root Object）

映射的最顶层被称为根对象。它包含了以下几个部分：属性区域，列举了文档中包含的每个字段的映射信息。元数据字段：各种元数据字段，它们都以”_“开头，包括：_index _type _id _version _score _source控制用于新字段的动态探测的设置，如analyzer，dynamic_date_formates和dynamic_templates。其它

2015-09-07 15:41:48 1200

原创 MongoDB学习四

为了提高MongoDB的读取速度，可以通过建立索引来实现读取速度的显著提高，下面是一些MongoDB中对索引的一些操作：（1）建立索引：> db.testnum.ensureIndex({"name":1});{ "createdCollectionAutomatically" : false, "numIndexesBefore" : 1,

2015-09-07 09:12:33 797

原创 MongoDB学习三

MongoDB的高级操作：聚合和游标(1)聚合操作：count获取搜索结果的数据条数distinct获取指定地段的集合，不允许重复>>> db.student.find();{ "_id" : ObjectId("55eb9d9d900da635cb33f220"), "name" : "liumengyang", "city" : "dalian" }{ "_i

2015-09-06 13:43:55 351

原创 MongoDB学习一

MongoDB中的三要素：数据库、数据、集合，其中集合就是对应关系数据库中的表，文档对应行。（1）下载:MongoDB官网下载对应版本的MongoDB数据库（2）指定数据的存储位置切到mongoDB的bin目录下，执行以下命令：mongod --dbpath

2015-09-02 16:26:20 734

转载 Build Your Programming Technical Skills

我的这个朋友把这篇文章取名叫Build Your Programming Technical Skills，我实在不知道用中文怎么翻译，但我在写的过程中，我觉得这很像一个打网游做任务升级的一个过程，所以取名叫“技术练级攻略”，题目有点大，呵呵，这个标题纯粹是为了好玩。这里仅仅是在分享Mailper和我个人的学习经历。（注：省去了我作为一个初学者曾经学习过的一些技术(今天明显过时了)，如：Delph

2015-09-02 15:57:49 820

破晓