iiiiiiiiiiii9的专栏

原创 hive 远端配置及 Oracle sql developer 连接hive

1 <?xml version="1.0"?> 2 <configuration> 3 <property> 4 <name>hive.metastore.uris</name> 5 <value>thrift://maste

转载 通过Sqoop实现Mysql / Oracle 与HDFS / Hbase互导数据

https://www.linuxidc.com/Linux/2013-06/85817.htm一、Mysql与HDFS互导数据环境：宿主机器操作系统为Win7，Mysql安装在宿主机上，宿主机地址为192.168.66.963台虚拟机操作系统为Ubuntu-12.04.1-32位三台虚拟机已成功安装Hadoop，并实现免密钥互访，配hosts为：192.168.66.91 masternode1...

原创 rsync

rsync -av /home/hadoop/web/ -e ssh master2:/home/hadoop/web/crontab -u macysdress -e

转载 28个Unix/Linux的命令行神器

下面是Kristóf Kovács收集的28个Unix/Linux下的28个命令行下的工具，有一些是大家熟悉的，有一些是非常有用的，有一些是不为人知的。这些工具都非常不错，希望每个人都知道。本篇文章还在Hacker News上被讨论，你可以过去看看。我以作者的原文中加入了官网链接和一些说明。dstat & sariostat, vmstat, ifstat 三合一的工具，用来查看系统性能（...

转载 IBM BigInsights -- 基于 Hadoop 的数据分析平台

IBM InfoSphere® BigInsights简介　　IBM InfoSphere® BigInsights 是 IBM® 推出的用于储存和分析 大数据的软件平台。本文将介绍 BigInsights，解释该产品的设计目标、用途以及它如何与现有的软件互补。　　在2015 Q1中国大数据分析工具TOP30排行榜上也是排名第一的大数据分析工具。　　下载　　免费下载：IBM® InfoSphere...

原创 logstash

YUMeditDownload and install the public signing key:rpm --import https://artifacts.elastic.co/GPG-KEY-elasticsearchAdd the following in your /etc/yum.repos.d/ directory in a file with a .repo suffix, f...

原创 zookeeper部署

http://blog.csdn.net/baidu_25820069/article/details/52225293

转载 自动化运维管理工具ansible

http://www.ilurker.cn/?post=282简介Ansible是一个简单的自动化运维管理工具，基于Python语言实现，由Paramiko和PyYAML两个关键模块构建，可用于自动化部署应用、配置、编排task(持续交付、无宕机更新等)。主版本大概每2个月发布一次。Ansible与Saltstack最大的区别是Ansible无需在被控主机部署任何客户端代理，默认直接通过SSH通道...

原创 hadoop-2.7.4+hbase-1.3.1+zookeeper-3.4.9搭建分布式集群环境

http://blog.51cto.com/xiong51/2047261# 系统信息3台系统： centos6.8内核：4   内存：4G  硬盘：50G# 主机名称，ip地址master: 192.168.1.110slave1: 192.168.1.111slave2: 192.168.1.112######################## 软件下载地址 ################...

转载 Ansible ：一个配置管理和IT自动化工具

https://linux.cn/article-4215-1.html今天我来谈谈 ansible，一个由 Python 编写的强大的配置管理解决方案。尽管市面上已经有很多可供选择的配置管理解决方案，但他们各有优劣，而 ansible 的特点就在于它的简洁。让 ansible 在主流的配置管理系统中与众不同的一点便是，它并不需要你在想要配置的每个节点上安装自己的组件。同时提供的一个优点在于，如果...

原创 vmware workstation 搭建hadoop

1.https://www.vmware.com/cn/products/workstation-pro/workstation-pro-evaluation.html下载Workstation 14 Pro for Windows2.https://www.centos.org/download/ 下载centos 7 dvd iso3.安装虚拟机4.复制虚拟机5.http://blog.csd...

转载 大数据平台 Hadoop 的分布式集群环境搭建

https://my.oschina.net/feinik/blog/1621000https://www.debugrun.com/a/r8J3cug.html1 概述本文章介绍大数据平台Hadoop的分布式环境搭建、以下为Hadoop节点的部署图，将NameNode部署在master1，SecondaryNameNode部署在master2，slave1、slave2、slave3中分别部署一...

转载 centos 7 进入单用户模式和修改密码

https://linux.cn/article-3962-1.html

原创 magento api

http://devdocs.magento.com/guides/m1x/api/soap/introduction.htmlThe Magento SOAP v1 API provides you with the ability to manage your eCommerce stores by providing calls for working with resources such...

原创 eclipse java 正常，cmd找不到或无法加载主类

原创 浏览器 user agent

chrome://version/

转载 Scrapy抓取Ajax动态页面

https://www.jianshu.com/p/1e35bcb1cf21这次我们要抓取的网站是淘女郎的页面,全站都是通过Ajax获取数据然后重新渲染生产的。这篇文章的代码已上传至我的Github,由于后面有部分内容并没有提供完整代码，所以贴上地址供各位参考。分析工作用Chrome打开淘女郎的首页中的美人库，这个页面毫无疑问是会展示所有的模特的信息，同时打开Debug工具，在network选项中...

转载 pymongo使用方法

#!/usr/bin/env python# -*- coding:utf-8 -*-"""MongoDB存储    在这里我们来看一下Python3下MongoDB的存储操作，在本节开始之前请确保你已经安装好了MongoDB并启动了其服务，另外安装好了Python    的PyMongo库。 连接MongoDB    连接MongoDB我们需要使用PyMongo库里面的MongoClient，一...

原创 mongodb 客户端

Robomongo 是一个基于 Shell 的跨平台开源 MongoDB 可视化管理工具，支持 Windows、Linux 和 Mac，嵌入了 JavaScript 引擎和 MongoDB mongo，只要你会使用 mongo shell，你就会使用 Robomongo，它还提了供语法高亮、自动补全、差别视图等。https://robomongo.org/downloadMongoChefMong...

原创 python mysql

1.mysqlyum install mysqlyum install mysql-serveryum install mysql-devel2.python-mysqlpip install mysql-python

转载 为何大量网站不能抓取?爬虫突破封禁的6种常见方法

在互联网上进行自动数据采集（抓取）这件事和互联网存在的时间差不多一样长。今天大众好像更倾向于用“网络数据采集”，有时会把网络数据采集程序称为网络机器人（bots）。最常用的方法是写一个自动化程序向网络服务器请求数据（通常是用 HTML 表单或其他网页文件），然后对数据进行解析，提取需要的信息。 本文假定读者已经了解如何用代码来抓取一个远程的 URL，并具备表单如何提交及 JavaScript 在浏...

原创 web开发常用Chrome插件

fireshotwappalyzereditthiscookie

原创 easyapache 故障，shell安装扩展

YUM encountered errors outside of EasyApache 4. Log into the system via SSH to resolve them, or you can click the ‘Refresh’ button to rebuild the system‘s YUM cache.yum list ea*yum list ea-php56-php-...