Python
文章平均质量分 51
狂奔吧蜗牛
专注大数据领域,熟悉Hadoop、Hbase、Hive、Spark、Kudu、Kylin、Kafka、Flumn、Sqoop、ES、数据仓库、Apache Atlas等。
展开
-
记一次差点删库跑路的经历
根据需求,我需要删除指定路径下已存在的内容,执行的命令是 rm -rf target_path ,而这个target_path 是作为参数传入的,我使用了python中的os.path.join拼接路径的各个部分。为了路径最后以"/"结尾,我就用使用了os.path.join(a,b,c,"/"),期望返回的是a/b/c/被误删数据的Linux服务器的文件系统是xfs,度娘告诉我可以使用TestDisk恢复误删数据,我就按照文档操作,最后真的恢复了大部分数据。然后就悲剧了......原创 2023-04-16 11:12:18 · 153 阅读 · 0 评论 -
关于pip install安装python依赖包时报错:command 'gcc' failed with exit status 1的解决方案
环境:Centos 7 Python 2.7在安装python依赖包时报错:command 'gcc' failed with exit status 1,如下图所示:解决方案是:sudo yum install python-devsudo yum install gcc如果问题还没解决,可以尝试安装如下依赖包:sudo yum install libffi-develsudo yum inst...原创 2018-02-09 16:42:37 · 10014 阅读 · 0 评论 -
Hbase Python API Happybase中的Filter
Hbase多种API,我在项目中使用是Happybase。一些常用的操作在Happybase官网都有示例,而我在使用table.scan()方法,传入Filter时,找不到参考,不知道具体的语法。经过一番参考和测试,终于实现了想要的功能。现记录如下,供大家参考。Hbase Filter有很多种,具体可以参考Hbase官网关于Filter的介绍。平时最常用,网上例子最多的Filter就是 S...原创 2018-10-15 18:50:39 · 4699 阅读 · 3 评论 -
yum pycurl: libcurl link-time version is older than compile-time version解决方案
在执行yum 命令时,出现如下错误:pycurl: libcurl link-time version is older than compile-time version错误的原因就是pycurl的版本太旧了,解决方案就是重装下pycurl。重装命令较为简单,先卸载(最好执行两次)pip uninstall pycurl 再安装 pip install pycurl...原创 2018-11-14 18:07:12 · 3136 阅读 · 0 评论