- 博客(19)
- 收藏
- 关注
RSS订阅原创 gitlab团队协作开发
由于之前总是自己的项目自己开发维护，不涉及多人协作，因此对于git的使用始终处于比较初级的阶段，很少用git的一些较为高级的用法。最近涉及多人协作开发，在此记录一下git的操作流程。本文使用的代码版本控制平台为实验室自建的gitlab，在界面风格上稍微和github有些区别，但总体都是一样的。这里主要记录两种团队协作操作git的方式：开发人员使用fork开发人员不使用fork使用fork项目
2017-09-08 20:48:16
6544
原创 Ubuntu14.04安裝PostgreSQL9.5+3DCityDB_v3.3.1+3dcitydb-web-map-client
环境要求：OS: Ubuntu >= 14.04PostgreSQL >= 9.1PostGIS extension >= 2.0 JDK >= 1.8 安裝JDK需要注意, 3DCityDB需要JDK>=1.8的版本配置環境變量vim /etc/profile# for jdk environmentexport JAVA_HOME=/opt/jdk1.8.0_131export
2017-05-21 16:11:42
2287
2
原创 在不同hbase集群中迁移数据
CopyTable（1）首先，看一下CopyTable命令的使用方法$ bin/hbase org.apache.hadoop.hbase.mapreduce.CopyTableUsage: CopyTable [general options] [--starttime=X] [--endtime=Y] [--new.name=NEW] [--peer.adr=ADR] <tablename>O
2016-12-20 18:16:43
508
原创 为hadoop集群中单个datanode添加硬盘
最近实验室的小集群当中的一个datanode硬盘容量快用完了，考虑着要加块1T的新硬盘，但是却被这么一个小问题折腾了好一会才解决，特地在此记录一下，希望为看到这篇文章的朋友们节约宝贵的时间。Ubuntu环境下挂载新硬盘这篇帖子已经写得很详细了，写得很不错，在Ubuntu环境下挂载新硬盘可以看这篇。唯一有点区别的是“硬盘在系统启动自动挂载”这一部分。我的配置为：/dev/sdb /home/hado
2016-12-09 21:37:15
5769
1
原创 CentOS7下安装PostGis
前言PostgreSQL 是一种对象-关系型数据库管理系统（ORDBMS），用来存储并管理数据。而PostGIS是在PostgreSQL上增加了存储管理空间数据的能力，使其具有地理信息系统特有的数据模式与存储过程函数，相当于Oracle Spatial和SQLite Spatial。因此，在这里我们需要先安装PostgreSQL，再安装PostGis插件安装PostgreSQL 9.4+PostGi
2016-11-10 12:21:56
6656
3
原创 CentOS7下安装MySQL
前言由于MySQL在CentOS7中收费了，所以已经不支持MySQL了，取而代之在CentOS7内部集成了mariadb，而安装MySQL的话会和MariaDB的文件冲突，所以需要先卸载掉MariaDB.卸载MariaDB列出所有被安装的MariaDB包 rpm -qa | grep mariadb卸载MariaDB rpm -e mariadb-libs-5.5.37-1.el7_0.x8
2016-11-09 17:24:51
2379
1
原创 在Hadoop集群上的Hive配置
环境介绍系统：Ubuntu14.04 64位Hadoop版本：hadoop-2.7.2Hive版本：apache-hive-2.1.0-bin集群环境： ### 环境介绍系统：Ubuntu14.04 64位zookeeper版本：zookeeper-3.4.8hbase版本：hbase-1.2.2集群环境： 角色 hostname IP mast
2016-07-21 18:00:03
4543
2
原创 在Ubuntu 14.04上的zookeeper+HBase集群配置
环境介绍系统：Ubuntu14.04 64位zookeeper版本：zookeeper-3.4.8hbase版本：hbase-1.2.2集群环境： 角色 hostname IP master wlw 192.168.1.112 slave1 wlw1 192.168.1.123 slave2 wlw2 192.16
2016-07-21 14:14:00
2426
原创 在Hadoop YARN之上配置Spark集群（二）
在上一篇中，我介绍了关于Hadoop完全分布式的配置，从上一篇博文到现在，这期间由于种种原因一直未能记录Spark集群的配置，今天补上。上篇博文中只是一个简单的测试实验，集群数目也不多，今天增加了一台。由于Spark集群的配置需要在Hadoop的基础之上，所以没配Hadoop的同学请看上一篇博文。环境介绍系统：Ubuntu14.04 64位JDK版本：jdk 1.7Hadoop版本：hadoo
2016-05-26 13:37:11
802
原创 在Hadoop YARN之上配置Spark集群（一）
前言最近刚接触Spark，想在实验室配一个小规模的Spark分布式集群做实验。虽说只配一个单机版（standalone）的伪分布式集群也可以做实验，但感觉意义不大，同时也为了逼真还原真实的生产环境，查阅了一番资料之后，知道Spark的运行需要外部的资源调度系统来支持，主要有：Standalone Deploy mode、Amazon EC2、Apache Mesos、Hadoop YARN。因为YA
2016-03-28 12:19:02
1475
原创 对于Hadoop和Spark的一些浅显认识
Spark和Hadoop的关系Spark是一种内存计算框架（包含迭代式计算、DAG【有向无环图】计算、流式【streaming】计算，图【GraphX】计算等），与Hadoop的MapReduce是竞争关系，但效率比MapReduce高很多。Hadoop的MapReduce和Spark是一种并行的概念，两者都是计算框架。Spark通过lineage（血缘）这一核心思想实现了基于内存的轻量容错机制，
2016-03-23 22:17:30
808
原创 Ubuntu14.04下单机版Spark的部署
在写本篇博客之前，我也是查阅了许多资料，从官方文档到国内外多名网友的教程，但他们写的不是那么的具体，以至于在实际部署的时候遇到了好几个麻烦，浪费了很多时间，但这样一来二去也算是对Spark有了一个比较浅显的初步认识，因祸得福了吧。 废话不多说了，直接上干货。 本博文所使用的系统为Ubuntu 14.04 64位 安装安装JDK，这一步我在这里就不再赘述了，想必稍微有点开发经验的朋友都早已配置
2016-03-11 17:14:23
3339
原创 Git忽略规则及.gitignore规则不生效的解决办法
在git中如果想忽略掉某个文件，不让这个文件提交到版本库中，可以使用修改根目录中 .gitignore 文件的方法（如无，则需自己手工建立此文件）。这个文件每一行保存了一个匹配的规则例如：*.a # 忽略所有 .a 结尾的文件!lib.a # 但 lib.a 除外/TODO # 仅仅忽略项目根目录下的 TODO 文件，不包括 subdir/TODObuild/
2016-03-04 21:26:24
812
原创 Collada学习笔记
1.<library_geometries> <geometry>....</geometry> //一个模型的几何结构单元</library_geometries>semantic：语义 VERTEX：定点 NORMAL：定点的法线（可以确定每个，如三角形，可以获得多少光照） TEXCOORD：贴图纹理坐标值（1）<triangles>节点下的 p的数据，表示为三个数据一组（几
2016-01-27 17:30:46
2554
原创 Python下关于JSON的一些事儿
JSON的两种结构对象 {key1 : value1,key2 : value2......}数组 [{ key1 : value1 ...... },{ key2 : value2 ......}]普通字符串, JSON字符串, JSON对象的区别普通字符串 str = ’ this is string
2015-10-24 15:34:37
452
原创 git的使用
用ssh命令生成公钥和私钥在使用gitlab之前必须要为自己的gitlab账号添加一个公钥。公钥相当于是锁，私钥相当于是钥匙。执行：ssh-keygen -t rsa -C “注册gitlab账号时所用的邮箱”查看公钥，执行：cat ~/.ssh/id_rsa.pub将公钥复制到gitlab中去即可。admin自己新建仓库mkdir 仓库名cd 仓库名对仓库进行初始化：git init
2015-09-14 17:27:08
528
原创 Scrapy的安装与使用
安装ScrapyScrapy依赖于Python、开发库（dev）和pip。 pip是作为python包索引器easy——install的替代品，用于安装和管理python包。1.为了能够保证下面的安装能够成功，我们先执行：sudo apt-get install python-dev2.再执行：sudo apt-get install libevent-dev 注：如果不安装上面两个以来包可
2015-09-13 13:17:25
529
原创 python 爬虫下载网站图片
#coding:utf-8import osimport urllibimport re #正则表达式模块def getHtml(url): page = urllib.urlopen(url) #打开一个URL地址 html = page.read() #读取URL上的数据 return htmldef getImgs(html)
2015-05-20 16:27:26
501
原创 ubuntu14.04下github的安装与使用
1、申请一个github的账户（申请网址为：http://github.com）2、安装git$sudo apt-get install git3、生成密钥对，这样项目可以push到github上$ssh-keygen -t rsa -C "邮箱地址"4、将.ssh/id_rsa.pub复制到github网站上去
2015-05-18 14:04:36
792
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人