黑肚皮的窝
码龄17年
求更新 关注
提问 私信
  • 博客:391,361
    社区:2,788
    394,149
    总访问量
  • 119
    原创
  • 81
    粉丝
  • 113
    关注
IP属地以运营商信息为准,境内显示到省(区、市),境外显示到国家(地区)
IP 属地:北京市
加入CSDN时间: 2008-06-03
博客简介:

joomlaer的专栏

查看详细资料
个人成就
  • 获得33次点赞
  • 内容获得45次评论
  • 获得68次收藏
  • 博客总排名58,467名
  • 原力等级
    原力等级
    2
    原力分
    100
    本月获得
    0
创作历程
  • 5篇
    2024年
  • 3篇
    2021年
  • 2篇
    2020年
  • 1篇
    2017年
  • 1篇
    2016年
  • 22篇
    2015年
  • 7篇
    2014年
  • 18篇
    2013年
  • 1篇
    2012年
  • 15篇
    2010年
  • 15篇
    2009年
  • 42篇
    2008年
成就勋章
TA的专栏
  • 大数据行舟
    4篇
  • web3
    1篇
  • 开发心得
    15篇
  • 摘抄
  • 精通Joomla!
    30篇
  • 翻译
    3篇
  • 随感
    1篇
  • android
    2篇
  • hadoop
    17篇
  • scribe
  • hive
    6篇
  • sqoop
  • ga
  • ganglia
    1篇
  • 开发心得 pig
    3篇
  • pig hadoop
    2篇
  • pig
    5篇
  • spark
    6篇
  • 移动开发
    1篇
  • 机器学习
    2篇
  • hbase
    1篇
  • presto
    1篇
  • R
    1篇
  • 股票
    1篇
  • quantmod
    1篇
  • hadoop zookeeper
    1篇
  • hadoop flume
    1篇
  • flume
    1篇
  • elasticsearch
    2篇
  • kafka
    1篇
  • logstash
    1篇

TA关注的专栏 1

TA关注的收藏夹 0

TA关注的社区 2

TA参与的活动 0

兴趣领域 设置
  • 人工智能
    神经网络自然语言处理
创作活动更多

王者杯·14天创作挑战营·第2期

这是一个以写作博客为目的的创作活动,旨在鼓励码龄大于4年的博主们挖掘自己的创作潜能,展现自己的写作才华。如果你是一位热爱写作的、想要展现自己创作才华的小伙伴,那么,快来参加吧!我们一起发掘写作的魅力,书写出属于我们的故事。 注: 1、参赛者可以进入活动群进行交流、分享创作心得,互相鼓励与支持(开卷),答疑及活动群请见https://bbs.csdn.net/topics/619735097 2、文章质量分查询:https://www.csdn.net/qc 我们诚挚邀请你们参加为期14天的创作挑战赛!

66人参与 去参加
  • 最近
  • 文章
  • 专栏
  • 代码仓
  • 资源
  • 收藏
  • 关注/订阅/互动
更多
  • 最近

  • 文章

  • 专栏

  • 代码仓

  • 资源

  • 收藏

  • 关注/订阅/互动

  • 社区

  • 帖子

  • 问答

  • 课程

  • 视频

搜索 取消

从0到1:一个程序员的SUI链上NFT速通攻略(狗头保命版)

各位币圈老铁们!今天我们要整个活 - 在SUI链上发个NFT,让区块链见证我们的帅照(不是
原创
发布博客 2024.12.01 ·
331 阅读 ·
5 点赞 ·
0 评论 ·
7 收藏

Move 合约的秘密:从霸道总裁到平民发币的自我修养

今天我们要聊两个发币故事:一个关于"霸道总裁"的专属代币,另一个关于"平民化"的水龙头代币。通过这两个例子,让我们看看 Move 合约是如何玩转不同的发币策略的。从霸道总裁到平民化的转变,展示了 Move 智能合约的灵活性。无论你是想做区块链世界的霸道总裁,还是平民化的代币推动者,Move 都能满足你的需求。记住:> 代码千万行,初心不改变。> 无论是专属还是共享,安全永远是第一位!这就是我们的 Move 合约"霸道总裁爱上平民"的故事!🎭。
原创
发布博客 2024.11.18 ·
399 阅读 ·
3 点赞 ·
0 评论 ·
7 收藏

web3规则改变者:Linea的厉害之处

Linea和一些开发者喜欢的工具,比如MetaMask和Infura,是好朋友,这意味着开发者可以轻松地使用这些工具,而不需要额外的努力。Linea还有一个特别的地方,它使用了零知识证明技术,并且完全兼容EVM,这样开发者就可以在不改变他们的代码的情况下,把他们的应用程序带到Linea上。Linea的主网Alpha已经启动,它和以太坊的EVM是好朋友,这意味着开发者可以轻松地把他们的应用搬到Linea上,就像把家具从一个房间搬到另一个房间一样简单。这个阶段Linea决定打开大门,让所有人都能进来。
原创
发布博客 2024.06.10 ·
596 阅读 ·
5 点赞 ·
1 评论 ·
4 收藏

如何从Bytescale的陷阱中走出,免去每月7刀费用

刚开始,他用上手即用的SDK骗取了你的信任,在嵌入他的Image Upload SDK 后,你的系统就很难摆脱他的控制,很难能替换下他的SDK.基本只能乖乖的每月缴纳7刀保护费。由于我的第一个系统已经几个月都收到7美元的帐单,但实际收入不行,所以一直想着把bytescale的SDK做替换。但是,还不能结束,需要将以前的bytescale的图片都转化到亚马逊S3去,并将数据库里相应记录update。现在终于做到了,用Amazon S3+ 自定义组件,就可以取代bytescale的每月7刀的保护费了。
原创
发布博客 2024.06.04 ·
280 阅读 ·
1 点赞 ·
0 评论 ·
0 收藏

小白也能明白的POS和POW

小白也能明白的POS和POW
原创
发布博客 2024.05.21 ·
258 阅读 ·
1 点赞 ·
0 评论 ·
0 收藏

spark和Hive统计结构不一样的问题解决

问题:select * from dws.dws_examplewhere dt = '2021-10-19' limit 10;用Hive可以读取。但是用spark-sql读取没有结果。并且读取另外的分区,select * from dws.dws_examplewhere dt = '2021-10-19' limit 10;都能读取到记录。解决思路:到hive里show create table得到结果:| 'orc.compress'='S...
原创
发布博客 2021.10.22 ·
714 阅读 ·
0 点赞 ·
0 评论 ·
1 收藏

Flink 1.10 :第一次运行报错:ClassNotFoundException: yarn.exceptions.YarnException

flink有三种启动方式。本地方式,集群方式,和flink on yarn。现在说第三种生产上最常用的flink on yarn方式。首先启动flink on yarn。出现问题:第一次运行报错:ClassNotFoundException: yarn.exceptions.YarnException这个错误,解决方法很简单。需要把把官方的flink-shaded-hadoop-2-uber-2.7.5-7.0.jar放到flink的lib目录里。由于这个包在国外服务器上,下载很慢,
原创
发布博客 2021.10.22 ·
1131 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

PyFlink SQL的json解析函数

当你遇到大数据里含有json时候,离线数仓开发,hive有特别好用的get_json函数。例如下面的:SELECT get_json_object(xjson,"$.[0].age") FROM person但遇到实时处理该咋办?同学们会说,Flink SQL里不是有吗?好吧,你太想当然了。在FlinkSQL,特别是最好用的FlinkSQL里,居然没有成型的JSON解析函数。根据遇到的情形,有好几种方式。如果遇到的是json有固定结构,那在定义flinkSQL的表结构里可以。比
原创
发布博客 2021.10.22 ·
1086 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

Zeppelin社区给力支持下,解决Zeppelin上的Flink生产环境运行问题

背景: Zeppelin一个强大的可视化数据分析工具。它是基于Web的笔记本,可通过SQL,Scala等实现数据驱动的交互式数据分析和协作文档。功能及其强大,可以快速接入Spark,Python,R等数据分析语言工具。数据源可以接入MySQL,Kylin,Hive等几十种数据源。 在现在实时处理神器Flink如火如荼的当下,将Zeppelin接入Flink,实现实时,批数据处理,报表生成,对数据开发分析人员,无疑是一个有力的助力。 现在Flink接入阿里开源生态后,版本迭代的非常迅速,功能也提升的比较
原创
发布博客 2020.09.30 ·
1224 阅读 ·
0 点赞 ·
2 评论 ·
0 收藏

由文件权限引发的flink实践坑解决经过

现在参照@Jeff Zhang 简锋的教程进行Flink on Zeppelin的实时Streaming读写数据,学习在Zeppelin中使用Flink的Streaming功能。但在练习过程中,在搭建环境和进行测试数据导入时,出现了问题。由于这个问题在特定环境下出现(CentOS),所以在@Jeff Zhang 简锋教程里也没提及,而且在kafka datagen的作者github里也没提及,下面就这个问题做的探索和解决进行了一一记录,利于同样环境下的同学参考和解决。好了,下面就一一说来问题和解...
原创
发布博客 2020.06.29 ·
1151 阅读 ·
0 点赞 ·
0 评论 ·
1 收藏

flink-shaded-hadoop-2-uber-2.7.5-7.0.jar

发布资源 2020.06.05 ·
jar

seaborn在mac中中文字体问题

seaborn在mac中无论用 anaconda,还是直接shell的 python运行,都会涉及到中文的显示。用了很多办法。1.修改matplotlib的设置,然后程序里设置2.直接指定字体文件,设置在matplotlib显示里。myfont = matplotlib.font_manager.FontProperties(fname="/Library/Fonts/Sim...
原创
发布博客 2017.02.16 ·
5535 阅读 ·
2 点赞 ·
4 评论 ·
0 收藏

QPS达到30万的elasticsearch架设之道

架构是数据被logstash打到kafka,然后消费端从kafka通过hangout消费。最后到es来索引。原理网上比较多,就不细说,现在主要来讲实战。一、ES集群部署优化之道部署准备:1.修改文件limit #!/bin/bash max=2500000 #check permission uid=$(id -u) if [...
原创
发布博客 2016.03.21 ·
13031 阅读 ·
1 点赞 ·
0 评论 ·
8 收藏

elasticsearch那几个坑

公司有若干的nginx日志,打算用elastic search实现对实践间隔nginx请求量的统计,实现对各种常用指标的检索。大坑1:有三台同配置的es,但总有一台异常退出。经过对该服务器的内存使用情况进行分析,发现,是有进程占用内存,导致es的内存OOM。大坑2:es需要用logstash读取nginx日志进行解析,但如何书写规则,特别是自定义的nginx日志规则。建议用如下
原创
发布博客 2015.12.28 ·
4684 阅读 ·
1 点赞 ·
0 评论 ·
1 收藏

Cloudera manager API的坑

使用python的api进行cloudera的api,调用。像这样。from cm_api.api_client import ApiResourceapi = ApiResource(CM_HOST, username=CM_USER, password=CM_PASSWD)api.get_all_clusters()结果如下: clist = api.get_al
原创
发布博客 2015.11.27 ·
6233 阅读 ·
0 点赞 ·
1 评论 ·
1 收藏

hadoop eyes开发进度

有了hadoop集群后,对集群的作业指标进行统计,很多时候只能凭借jobtracker的日志界面进行查看。但日志界面没有历史趋势等统计功能。给数据平台的管理计费,和作业情况,会造成很大的困扰。特别是历史作业趋势和实时作业运行情况,对于拥有大数据计算集群的公司来说,非常重要。为解决这个问题,我们结合本公司内部的数据集群使用,采用python+flume+pig+mysql+php对集群情况做
原创
发布博客 2015.09.06 ·
2410 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

分析hadoop日志之前传-采用flume进行日志收集

公司hadoop集群有几百台了,对整体集群的计算能力还需要有个总体的掌握,每天有多少job计算,占用slot,MR有多少,哪些任务比较占用时间,需要放到比较空闲的时间计算等。。任务来了,我们该怎么办呢?由于公司集群大部分运行在hadoop 1.x上,在hadoop 1.x里job都是在jobtracker里进行分配,所以,可以对jt进行日志采集,然后对日志进行分析即可得到集群的任务分配,运行情况了
原创
发布博客 2015.07.22 ·
5469 阅读 ·
0 点赞 ·
1 评论 ·
0 收藏

Zookeeper实践2:命令行及联想

zookeeper作用很大,我们先来实践一下。当然先不用java,不用编程,就命令行。首先用客户端工具连接zk:zookeeper-3.4.6/bin/zkCli.sh -server localhost:2181进入提示符,列目录:[zk: localhost:2181(CONNECTED) 0] ls /[zookeeper]查看当前节点数据并能看到更新次数等数据。[zk: localhost
原创
发布博客 2015.06.30 ·
2529 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

zookeeper之实践一

什么是zookeeper大数据时代,hive,pig,hbase,hadoop。。。。都很重要,但是,“一个成功的男人后面都有一个女人”,一群重磅的大数据工具平台后,有一个重要的“动物园管理员”。那就是,那就是Zookeeper。在大数据应用中,高可用性非常重要,众多的服务都是建立在稳定和高可用性上的,谁能确保呢,那也是管理员,---zookeeper。可以说,在台前精彩的表演后,有一
原创
发布博客 2015.06.24 ·
2431 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏
加载更多