开发工具安装
文章平均质量分 59
huxuanlai
大数据架构师,算法建模工程师,河南研发和信用提升志愿者。
展开
-
wordpress的lnmp环境一键安装和手工配置
wordpress的lnmp环境一键安装和手工配置原创 2023-10-11 10:19:57 · 285 阅读 · 0 评论 -
支持hive访问的sqlalchemy库离线安装
需要安装sqlalchemy和pyhive库。下载wheel的命令:pip2 wheel --trusted-host pypi.douban.com -i http://pypi.douban.com/simple -r python-dependencies.txt -w packs其中packs为wheel下载到的目录,python-dependencies.txt为要下载的库列表文件,格式如下:-----pandas==0.23.4numpy==1.16.0sqlalchemypy原创 2020-08-22 14:47:40 · 1845 阅读 · 0 评论 -
离线断网环境下在centos7上安装postgresql12
//1. 在有网且安装了centos7的测试服务器上yum install https://download.postgresql.org/pub/repos/yum/reporpms/EL-7-x86_64/pgdg-redhat-repo-latest.noarch.rpmmkdir pg12_rpm_packs//1.1 下载pg server/client,contrib和其依赖的其...原创 2019-11-01 13:41:04 · 1011 阅读 · 0 评论 -
python和pip断网/隔离/离线批量安装常用命令
//搜索python项目包https://pypi.org/project///在有网环境准备好get-pip.py, 到pypi网站上搜索并下载wheel, setuptools, pip的wheel文件然后到离线环境通过--find-links安装pipwget https://bootstrap.pypa.io/get-pip.pywget https://files.python...原创 2019-03-15 20:28:48 · 582 阅读 · 0 评论 -
Amazon AWS上Caffe+GPU CUDA 8.0 +cuDNN 5.0 +OpenBLAS+pycaffe配置和lenet训练方法
//环境:Amazon AWS g2.2xlarge实例,Ubuntu 16.04, python2.7, Nvidia cuda 8, cuDNN 5.0, OpenBLAS sudo apt-get updatesudo apt-get install -y python-pip python-numpy python-scipy python-matplotlibsudo apt...原创 2017-04-24 18:37:15 · 1139 阅读 · 0 评论 -
mysql到es的实时增量同步工具canal配置步骤
#1. 在自己的测试机器上,利用修改过的canal-1.1.2代码创建发布包,修改的源码和系统各组件的版本可通过第二次commit看到,jdk为1.8git clone git@github.com:huxuanlai/canal-1.1.2-mysql-es.gitmvn clean install -Denv=release在canal-1.1.2-mysql-es/target目录中找...原创 2019-01-23 17:21:52 · 4158 阅读 · 1 评论 -
Github初次建库和提交代码
1. https://help.github.com/articles/connecting-to-github-with-ssh/按照提示在自己的linux服务器上生成ssh public key2. https://github.com/settings/keys 把本机的key添加到github网站的服务器上到作为登录凭证3.git第一次提交:echo "# canal-1.1....原创 2019-01-14 15:42:46 · 376 阅读 · 0 评论 -
graphviz中文支持和IBUS中文输入法支持
IBUS拼音输入法安装:http://wiki.ubuntu.org.cn/IBusgraphviz中文:例如:digraph dep {edge[fontname="FangSong"]; node [shape=box, fontname ="FangSong" size = "20,20"];"支付表" -> "从"[label="case"];"原创 2017-03-21 15:07:15 · 483 阅读 · 0 评论 -
安装Ambari和配置集群
wget -O /etc/apt/sources.list.d/ambari.list http://public-repo-1.hortonworks.com/ambari/ubuntu16/2.x/updates/2.5.2.0/ambari.listapt-key adv --recv-keys --keyserver keyserver.ubuntu.com B9733A7A07513原创 2017-11-14 17:03:20 · 394 阅读 · 0 评论 -
Ubuntu 16.04服务器之间配置无密码打通
apt-get install -y lrzsz sshpassmkdir -p /opt/authcd /opt/authvim hostsvim hostnamesvim root.passwdvim master编辑后的这四个文件格式如图:chmod 777 /opt/auth/*cdmhostname=`cat /opt/auth/m原创 2017-11-14 16:48:27 · 321 阅读 · 0 评论 -
Intellij IDEA中java和scala开发流程
在IDEA 14.1中新建maven工程spark-graphx-test然后找到:File->Project Structure->Project Settings->Modules->Sources->src->main 右键点击New Folder,新建scala目录,然后选中scala,点击Sources。此步骤完成新建一个scala目录,并把此目录作为和java目录并列的源文件目原创 2017-03-02 14:19:21 · 3481 阅读 · 0 评论 -
linode上快速建立Spark源码阅读环境
开发环境:Fremont CA地区,linode 4096型主机,centos 6.5, 4核cpu, 4G内存,96GB的SSD盘, 40Gbit Network In, 512Mbit Network Out------------------------------可直接执行的命令------------------------------------原创 2017-03-02 13:53:34 · 593 阅读 · 0 评论 -
Hive的TPC-DS和TPC-H基准测试工具
wget https://github.com/hortonworks/hive-testbench/archive/hive14.zipunzip hive14.zipcd hive-testbench-hive14/./tpcds-build.sh./tpcds-setup.sh 1000 //生成1000G的hive表数据集FORMAT=parquet .原创 2017-03-02 11:06:20 · 2954 阅读 · 0 评论