![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
分布式
xiaocong1990
这个作者很懒,什么都没留下…
展开
-
Hadoop Spark Flink Hive
行存储、列存储、行列混存 - 简书百度安全验证大数据技术漫谈 ——从Hadoop、Storm、Spark、HBase到Hive、Flink、Lindorm - 知乎原创 2023-08-19 19:08:55 · 127 阅读 · 0 评论 -
Hadoop+Hbase+Spark整合部署
修改各个节点上的/etc/hosts文件确保ip与主机名的映射关系正确关闭系统防火墙 service iptables stop chkconfig iptables off reboot配置ssh免密码登陆 在每台机器上都执行下列命令 chmod -R 755 /home/cloud mkdir ~/.ssh ssh-keygen -t rsa之后在clo转载 2016-11-22 09:48:21 · 1987 阅读 · 0 评论 -
python通过thrift操作hbase
mac 版首先brew install thrift然后安装python的thrift库pip install thrift再次进入 hbase安装目录cd /usr/local/Cellar/hbase/1.2.2/libexec/bin启动thrift服务(默认端口9090)./hbase-daemon.sh start thrift操作fro原创 2016-12-21 16:56:21 · 557 阅读 · 0 评论 -
Hadoop+HBase+Spark伪分布式整合部署(mac)
首先修改主机名(建议):sudo scutil --set HostName hostnameHadoop下载安装:brew install hadoop找到Hadoop配置文件目录cd /usr/local/Cellar/hadoop/2.7.3/libexec/etc/hadoop修改core-site.xml hadoop.tmp.dir原创 2016-12-01 19:05:01 · 1988 阅读 · 0 评论 -
PyCharm配置Spark开发环境
mac版伪分布式首先安装py4j在 ~/.bash_profile 里添加:#Spark environment configsexport SPARK_HOME=/usr/local/Cellar/apache-spark/1.6.0/libexecexport PATH=$PATH:${SPARK_HOME}/bin#Python environment con原创 2016-12-20 19:59:36 · 5075 阅读 · 0 评论