实践手册
无人境域
开发技术工具型软件制造匠人
展开
-
vs环境基于github的nuget包管理
申请github用户的key,需要库包写入和读取权限 打开vs环境的终端窗口,添加nuget的源 dotnet nuget add source -name "github" -source "https://nuget.pkg.github.com/GitHub用户名/index.json" -u GitHub用户名 -p GitHub的key 编译生成包 在终端窗口输入命令,发布 dotnet nuget push "发布包文件的路径" --source "github".原创 2020-06-12 17:19:40 · 652 阅读 · 0 评论 -
fedora18安装opencv2.4.4
1.install cmake-gui(如果没有安装,执行sudo yum install cmake*)2.cmake-gui(如果没有安装,执行sudo yum install cmake-gui)3.在源代码中创建一个build文件夹,生成配置文件放于此点击“Configure” 选择 ”unix makefile“然后可通过修改 “CMAKE_INSTALL_PRE原创 2013-03-09 02:22:33 · 872 阅读 · 0 评论 -
couchbase安装fedora18上的问题
在fedora18上安装couchbase服务端结果总是libssl.so.6找不到后来在产品论坛上先是看到一个10年的帖子,产品技术人员竟然说不支持fedora一个崩溃不过既然能支持redhat,应该不是大问题后来又看到一个近期的帖子,技术人员建议下载源代码自己编译构建下载,然后自己编译又报错,找不到文件的说好吧,四个小时彻底没心情了等到什么时间支持fedor原创 2013-05-05 20:07:53 · 793 阅读 · 0 评论 -
fedora18安装hadoop配置伪分布模式
一、安装配置java1.下载rpmd对应版本2.安装sudo yum 安装文件路径,安装后在fedora18下安装后路径在/usr/java下,目前sun的java最高版本1.7.0_213.配置环境变量打开文件sudo gedit /etc/profile4.添加内容,在unset i一句话上面,注意里面的配置需要和系统中实际路径配合,所以有时候按照网上方法就会配置失败e原创 2013-05-17 13:38:37 · 1082 阅读 · 0 评论 -
hadoop集群安装与配置
硬件五台服务器,一台master,三台slave,一台集群client网络设置机器名IP备注Hadoop.mater ip1Master,NamenodeHadoop.slave1 ip2SlaveHadoop.slave2 i原创 2013-06-17 09:44:29 · 1146 阅读 · 0 评论 -
hadoop集群安装与配置--c#调用hive的thrift服务
1.在hadoop.client上开始运行hive的thrift服务,命令如下bin/hive --service hiveserver2.通过NuGet安装hive的c#客户端,项目地址如下https://bitbucket.org/vadim/hive-sharp/3.c#调用服务demo代码int port = 10000;//注意hadoop.client服务器上防原创 2013-06-17 11:46:29 · 3307 阅读 · 0 评论 -
expect安装
1.使用yum安装expect,版本为5.44.1.15,tcl依赖包版本8.5.72.源代码下载http://nchc.dl.sourceforge.net/sourceforge/tcl/tcl8.4.11-src.tar.gzhttp://sourceforge.net/projects/expect/files/Expect/5.45/expect5.45.tar.gz/dow转载 2013-06-18 13:52:06 · 924 阅读 · 0 评论 -
hadoop集群安装与配置--sqoop安装
1. Sqoop安装在hadoop.client上2. 复制一份sqoop-env-template.sh,命名为sqoop-env.sh3. 修改sqoop-env.sh的内容:export HADOOP_COMMON_HOME=/home/hadoopuser/hadoopexport HADOOP_MAPRED_HOME=/home/hadoop原创 2013-06-17 09:54:27 · 2296 阅读 · 2 评论 -
hadoop集群安装与配置--sqoop服务调用
一、基于thrift生成java服务端代码和C#端代码thrift接口代码:文件名称sqoopthrift.thriftnamespace java com.javabloger.gen.codeservice SqoopThrift{ string CreateTable(1:string host, 2:string database, 3:string userName, 4原创 2013-07-19 10:48:01 · 1373 阅读 · 0 评论 -
hadoop集群安装与配置--hadoop自动化安装脚本
基于expect进行hadoop的自动化安装但是,无法做到完全自动化和环境适应暂且记录下来思路:将集群中所有服务器具有sudo权限的账户、ip、密码保存在文件cluster.txt中格式:IP%密码%服务器名......以install.sh作为总脚本调用多个分脚本,并发送setfirewall.py、sethosts.sh、setprofile.py、setssh.p原创 2013-07-19 11:28:58 · 1063 阅读 · 0 评论 -
hadoop日志【2】
采用了nohup以后,今天再看hive和sqoop的服务就没有问题了原创 2013-07-23 09:57:03 · 780 阅读 · 0 评论 -
hadoop日志【1】--hive服务和sqoop服务运行
周五下班时将hive服务和sqoop服务打开了想看看周一是否还运行结果今天来到一看果然不运行了,看来过了会话时间进程就同时被杀掉了,采用普通的方式果然还是和会话绑定在一起了研究了一下会话的问题,采用daemon进程即可原创 2013-07-22 10:32:00 · 939 阅读 · 0 评论 -
hadoop日志【4】----50G数据
以前测试的数据量最大的才8G左右,而且还是在sqlserver中的数据量一般运行都在30分钟左右而sqlserver运行同样的逻辑更快,最多8分钟决定测试一下能体现hadoop集群优越性的数据量然后就搞了一个50G的数据表果然效果明显,sqlserver运行一次需要至少5个小时,hadoop跑完一个流程则需要2个半小时,看来30G是自己使用的硬件在两种方案上的临界点了原创 2013-07-31 10:05:16 · 1276 阅读 · 0 评论 -
ganglia监控hadoop集群
使用ganglia监控hadoop比较简单修改hadoop的配置文件为:conf/hadoop-metrics2.properties。依据安装的Ganglia版本找到配置文件中对应版本控制,将需要监控的项目前面注释去掉,*.servers的配置为 239.2.11.71:8649,这个地址是Ganglia的广播地址,是固定的。ganglia为3.1# for Ganglia 3.原创 2013-07-25 11:48:27 · 2315 阅读 · 0 评论 -
ganglia简单认证
创建用户认证文件htpasswd -c /etc/httpd/conf.d/passwords 用户名创建文件.htaccess在路径/usr/share/ganglia下内容:AuthType BasicAuthName "Restricted Files"AuthUserFile /etc/httpd/conf.d/passwordsRequire user 用户名原创 2013-07-25 14:25:55 · 928 阅读 · 0 评论 -
ganglia安装
本来打算采用编译的方式安装ganglia的,不过连续两天的诡异的错误自己还是放弃了错误的表现很奇怪最早采用最新的3.6的版本,依赖软件也全部采用最新的。安装过程1.安装APR:yum install apr-devel2.安装libtool:yum install libtool3.下载confuse,www.nongnu.org/confuse,configure,m原创 2013-07-24 17:55:14 · 1964 阅读 · 0 评论 -
apche mahout0.8安装与测试
下载tar.gz的安装包地址:http://www.apache.org/dyn/closer.cgi/mahout/下载后解压在你希望安装的路径上修改bin目录下的mahout文件在文件开头添加变量HADOOP_HOME=hadoop的安装路径HADOOP_CONF_DIR=hadoop的配置路径如果想要调用本地的数据文件,不使用hadoop则还需要添加MAHOUT_L原创 2013-07-29 18:19:10 · 2305 阅读 · 7 评论 -
hadoop日志【3】---进度不动的reduce过程
集群的slave由于意外原因在运行过程中突然关机过两台结果这两台存放hadoop日志的路径权限竟然全部变成root的,hadoop无法保存日志,异常不断修改了文件权限,然后重新跑任务结果跑到20%的时候又不动了根据经验,要吗是slave中的防火墙把hdfs的端口给堵了造成文件无法在slave间复制,要吗就是又是日志保存出问题,导致无法正常生成task查看了一下负责reduce的原创 2013-07-25 18:27:09 · 1812 阅读 · 0 评论 -
hadoop日志【5】----存储迁移之后
集群使用的是一台实体加5台虚拟(分布在两台实体机上)后来实体机的存储不够用了,就把虚拟机转移到了网络存储上然后就悲剧了性能急剧下降是实体机网卡的瓶颈造成的原来在实体机的时候,虚拟机在进行hadoop运算时只需要走一个相互间的通信然而,在迁移到网络存储以后,则多了一个过程,既要进行相互间的通信,还多了一个网络存储的过程,编程了如下虚拟机A==》A的网络存储==》虚原创 2013-08-08 10:05:17 · 938 阅读 · 0 评论 -
sudo在shell脚本执行的问题
sudo的执行需要tty。如果将sudo service命令写在shell脚本中,通过程序方式调用,是不会执行的。但是centos6.4中比较坑人的是"sorry, you must have a tty to runsudo"这个错误不知道为什么没有报出来,也没有写到日志中,结果浪费了一天的时间去查找原因。如果修改/etc/sudoers,将Defaults require原创 2013-08-20 17:33:17 · 4601 阅读 · 0 评论 -
centos6.4 基本安装nagios
非常高效率的方法:yum install nagios*nagios竟然已经进入到了yum源,不错不错然后启动httpd服务:service httpd start然后启动nagios服务:service nagios start采用web访问:http://ip/nagios弹出权限认证窗口账户:nagiosadmin密码:nagiosadmin密码必须改cd /原创 2013-07-24 18:27:45 · 1085 阅读 · 0 评论 -
centos6.4上安装storm0.82
centos 6.4版本下安装storm0.82如果无法联网,使用文件安装请在这里寻找更新源 base源文件列表1.首先安装libtool,否则autogen的脚本无法运行yum install libtool2.安装libuuid-devel,否则报错yum install libuuid-devel3.先安装zeromq的2.1.4版本,注意,如果有co原创 2013-08-28 12:21:58 · 3669 阅读 · 0 评论 -
基于keepalived的redis系统master双机热备,读数据负载均衡设置方案
硬件:机器 ip 作用master 192.168.0.2 redis系统的master主机slave1 192.168.0.3 redis系统的slave机器,和master组成双机热备slave2 192.168.0.4 redis系统的slave机器,和slave1构成读数据的负载均衡系统软件:keepa原创 2013-08-15 09:56:05 · 3703 阅读 · 0 评论 -
datastax的C# Driver for Apache Cassandra
原版的说明文档:http://www.datastax.com/documentation/developer/csharp-driver/1.0/webhelp/index.html#csharp-driver/quick_start/qsSimpleClientAddSession_t.html先吐槽一下说明文档非人的简单说明的简洁明快,一下子就明白怎么编写代码,但是有些地方确实不原创 2013-08-30 16:07:40 · 1276 阅读 · 0 评论 -
UrlRewriter的一个问题
使用UrlRewriter时候发现一个问题,采用VS开发服务器的情况下,是能起作用的,可以对地址进行正确重写不过因为开发需要项目采用的是在IIS Web服务器的的方式测试结果就不行了,明显的表现是压根不加载UrlRewriter模块(将UrlRewriter的源码项目加入到解决方案中,在VS开发服务器状态下调试能命中中断,IIS模式下就不行了)各种Google,百度,没一个靠谱的,而且原创 2013-09-11 18:47:07 · 1010 阅读 · 0 评论 -
Storm VS Hadoop
序号StormHadoopremark1实时或者接近实时,适合急脾气的工程师有最小计算时间(原生hadoop,不是各种各公司改装版的),喜欢钻探的工程师有福了 2集群内存计算,网络直传数据hdfs传递数据,不同阶段的数据会在机器间通过存储转移 3擅长对数据流中的每一个数据及时处理,但是进入系统的数据间不能有任何的逻辑前后关原创 2013-09-05 14:39:38 · 1675 阅读 · 1 评论 -
hive0.11安装与配置
将原来的hive0.10的配置文件拷贝到0.11的conf下,然后将mysql中的hive库清掉运行hive,结果Unable to instantiate org.apache.hadoop.hive.metastore.HiveMetaStoreClient仔细看看异常创建不了到mysql的连接。用用户直接登录mysql,没问题,那就是缺少连接器了仔细对比一下,原来是少了m原创 2013-09-29 16:06:17 · 3555 阅读 · 2 评论 -
hbase配置
在已有hadoop和zookeeper的集群上安装hbase两个主要配置文件的内容conf/hbase-env.sh##/**# * Copyright 2007 The Apache Software Foundation# *# * Licensed to the Apache Software Foundation (ASF) under one# * or mor原创 2013-09-22 17:36:59 · 1220 阅读 · 0 评论 -
hbase编程demo
1.在Buildpath添加需要引起用的jar,hbase的软件lib文件下的所有jar2.创建好一个列名为:c1,c2的表,表名:hbase_table1import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.hbase.HBaseConfi原创 2013-09-30 16:12:42 · 2340 阅读 · 0 评论 -
hadoop 1.1.2和 hive 0.10 和hbase-0.94.10-security整合
1.复制jar包,拷贝hbase-0.94.10-security.jar,hbase-0.94.10-security-tests.jar,zookeeper-3.4.5.jar,protobuf-java-2.4.0a.jar到hive/lib下,删掉lib下面旧版的jar包。 没有做网上资料所说的向hadoop拷贝jar和配置文件的动作,不过只有hbase有了一个下面的错误在60000上原创 2013-09-24 15:08:15 · 2235 阅读 · 0 评论 -
java调用wcf
下载文件http://axis.apache.org/axis2/java/core/tools/index.html下载:CodeGenerator Wizard - Eclipse Plug-in,Service ArchiveWizard - Eclipse Plug-in将下载的插件直接复制到eclipse的plugins下,重启eclipse。软件版本为1.6.2原创 2013-09-13 17:48:33 · 911 阅读 · 0 评论 -
hbase与storm的冲突
在原来的hadoop集群上安装hbase,由于使用的现有的zookeeper,配置文件写错了,就修改了配置文件,停止服务。结果发现有问题了,集群上安装的还有storm的集群,而且使用的也是同一套zookeeper。在hbase服务停止的时候storm的进程虽然也在运行,但是从storm的webUI界面上监控不到几个节点了。而监控机器性能的ganglia也有两个节点也是出现同样的问题,g原创 2013-09-22 15:45:28 · 2435 阅读 · 0 评论 -
hadoop1.1.2升级1.2.1
运行命令:bin/hadoop namenode -upgrade进入升级信息展示然后就是漫长的数据升级,140G的数据升级了十几个小时到现在还没完成~~~原创 2013-09-27 10:20:11 · 953 阅读 · 2 评论 -
centos6.4上zookeeper3.4.5安装与基础设置
1.下载zookeeper的3.4.5版本的tar.gz包zookeeper.apache.org2.解压缩,然后进入conf文件夹,复制zoo_sample.cfg为zoo.cfg。需要修改dataDir=自己定义的路径在文件末尾追加代码server.1=机器名或ip.2888.3888server.2=机器名或ip.2888.3888server.3=机器名或i原创 2013-08-28 11:22:37 · 2032 阅读 · 0 评论 -
hadoop集群安装与配置---hive安装与配置
1. hive安装在hadoop.client上2. 解压缩安装在/home/hadoopuser下3. 配置(1) 复制一份hive-env.sh.template,取消.template后缀(2) 更改hive-env.sh的内容:HADOOP_HOME=/home/hadoopuser/hadoop(3) 复制一份hiv原创 2013-06-17 09:48:02 · 4171 阅读 · 0 评论 -
基于storm和hadoop的广告系统研究【1】
需要的基础概念:1.按效果付费:详细概念点击此处2.竞价排名:详细概念点击此处按照上面的两个概念的详细内容,那么系统就至少需要面对以下的问题:1.高并发,要求相应时间短2.高并发情况下广告客户金额计算正确性3.用户访问页面内容与广告的内容高匹配度解决方案: ABC序号原创 2013-10-10 17:41:00 · 1983 阅读 · 0 评论 -
基于storm和hadoop的广告系统研究【2】
文中所有实现方案全部基于storm、hadoop以及nosql等开源技术计算广告学概念:点击此处计算广告的运作系统主要包括广告算法、广告、语境、受众(用户)四个方面,针对这四个方面当下的广告形式可归纳为三类:基于文本分析、基于用户分析和基于用户参与。一、基于文本分析这种形式最常见的就是浏览的网页内容的与广告主题的匹配,比如看关于诺基亚1020自拍神器的测评文章,同时网页的广原创 2013-10-11 16:05:18 · 1320 阅读 · 0 评论 -
基于keepalived、redis sentinel的高可用redis集群【修改版】
原方案地址原方案硬件机器名IP作用master192.168.0.2redis的master服务器slave1192.168.0.3redis的slave服务器slave2192.168.0.4redis的slave服务器route1192.168.0.5【虚拟IP:192.168.0.原创 2013-10-24 10:33:41 · 1687 阅读 · 0 评论 -
redis安装的一个问题
在安装redis2.6.16时碰到一个问题报jemalloc的相关文件找不到但是使用yum install jemalloc后,仍然出错安装yum install jemalloc-devel,还错,报找不到一个c文件make MALLOC=libcok了原创 2013-10-28 16:54:25 · 1369 阅读 · 0 评论 -
基于keepalived、redis sentinel的高可用redis集群
硬件机器名IP作用master192.168.0.2redis的master服务器slave1192.168.0.3redis的slave服务器slave2192.168.0.4redis的slave服务器route1192.168.0.5【虚拟IP:192.168.0.7】keepal原创 2013-10-22 14:11:35 · 5474 阅读 · 4 评论