Angular_need
码龄6年
关注
提问 私信
  • 博客:27,575
    27,575
    总访问量
  • 16
    原创
  • 201,089
    排名
  • 26
    粉丝
  • 0
    铁粉
IP属地以运营商信息为准,境内显示到省(区、市),境外显示到国家(地区)
IP 属地:广东省
  • 加入CSDN时间: 2018-08-02
博客简介:

Angular_need的博客

查看详细资料
  • 原力等级
    领奖
    当前等级
    0
    当前总分
    17
    当月
    0
个人成就
  • 获得17次点赞
  • 内容获得5次评论
  • 获得30次收藏
创作历程
  • 1篇
    2024年
  • 3篇
    2020年
  • 10篇
    2019年
  • 2篇
    2018年
成就勋章
TA的专栏
  • python
  • CDH
    2篇
  • spark
    1篇
兴趣领域 设置
  • 大数据
    spark
创作活动更多

HarmonyOS开发者社区有奖征文来啦!

用文字记录下您与HarmonyOS的故事。参与活动,还有机会赢奖,快来加入我们吧!

0人参与 去创作
  • 最近
  • 文章
  • 代码仓
  • 资源
  • 问答
  • 帖子
  • 视频
  • 课程
  • 关注/订阅/互动
  • 收藏
搜TA的内容
搜索 取消

SD---comfyui---问题集锦1

1、插件下载到了Program Files\comfyui\ComfyUI_windows_portable\ComfyUI\custom_nodes 目录下,但是打开comfyui的时候,说插件加载失败。看看插件目录下的requirments.txt里面的python依赖是否下载了。
原创
发布博客 2024.04.02 ·
678 阅读 ·
3 点赞 ·
0 评论 ·
0 收藏

十五(1)、streamsets

1、从mysql提取数据到hbase,报错:com.streamsets.pipeline.api.base.OnRecordErrorException: HBASE_27 - Missing row key field '/rk0001' in record at com.streamsets.pipeline.hbase.api.impl.AbstractHBaseProducer.ge...
原创
发布博客 2020.04.20 ·
612 阅读 ·
0 点赞 ·
1 评论 ·
0 收藏

十三(1)、sqoop遇到的问题

1、从mysql抽数到hive,hive表为parquet存储格式,导入语句为:sqoop import –connect jdbc:mysql://${MYSQL_HOST}
原创
发布博客 2020.02.14 ·
862 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

七(1)、HBase遇到的问题

1、启动cdh的时候,HBase master启动不了,日志报错:Failed get of master address: java.io.IOException: Can't get master address后面启动了httpd就可以正常启动HBase master了...
原创
发布博客 2020.01.08 ·
951 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

六(2)、sparkstreaming代码出现的一些情况分析

作业流程:mysql binlog——(steamsets)——>kafka——(sparkstreaming、sparksql)——>redis除了把结果数据放redis以外,还有把验证数据放redis如果kafka中堆积很多数据,sparkstreaming一批次消费,导致验证redis里面的数据不准确,导致结果数据错误运行sparkstreaming的机子获取当前时间A...
原创
发布博客 2019.08.17 ·
230 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

九(1)、MongoDB遇到的问题

1、在本地用python连接MongoDB的使用遇到的问题mongodb装在linux虚拟机中python代码如下:import pymongomyclient = pymongo.MongoClient(“mongodb://192.168.25.121:27017/”)mydb = myclient[“my_db01”]mycol = mydb[“mycoll01”]x = m...
原创
发布博客 2019.06.18 ·
205 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

十一(1)、MySQL遇到的问题

1、从dump文件中导入表结构报错:ERROR 1840 (HY000) at line 24: @@GLOBAL.GTID_PURGED can only be set when @@GLOBAL.GTID_EXECUTED is empty.https://www.cnblogs.com/tonnytangy/p/7779164.html...
原创
发布博客 2019.05.18 ·
409 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

十二(1)、Python遇到的问题

1、写爬虫代码,报错:TypeError: cannot use a string pattern on a bytes-like object出错的主要原因是因为:TypeError: can’t use a string pattern on a bytes-like object.html用decode(‘utf-8’)进行解码,由bytes变成string。py3的urlope...
原创
发布博客 2019.05.10 ·
256 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

六(1)、spark遇到的问题

1、意外退出spark-shell,而不是quit,然后再输入spark-shell命令的时候,报错:19/04/11 13:42:32 WARN util.Utils: Service 'SparkUI' could not bind on port 4040. Attempting port 4041.jps查看,SparkSubmit在,查看4040端口也是被SparkSubmit占用...
原创
发布博客 2019.04.12 ·
4345 阅读 ·
5 点赞 ·
0 评论 ·
11 收藏

二(2)、hive报错记录

hue上hive执行一大段hql语句(hql语句大),报错:{ "traceback": [ [ "/data/cloudera/parcels/CDH-6.0.1-1.cdh6.0.1.p0.590678/lib/hue/build/env/lib/python2.7/site-packages/Django-1.11-py2.7.egg/django/core/handlers/excep...
原创
发布博客 2019.04.12 ·
491 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

四(2)、flume遇到的问题

从mysql抽取数据到hdfsflume-ng agent --conf conf --conf-file conf/flume-conf04.properties --name a1 -Dflume.root.logger=INFO,consolea1.channels.ch1.type = memorya1.sources.sql-source.channels = ch1a1.cha...
原创
发布博客 2019.03.20 ·
2394 阅读 ·
0 点赞 ·
1 评论 ·
0 收藏

四(1)、flume遇到的问题

1、在cdh启动了flume的情况下,在linux运行了命令:flume-ng agent --conf conf --conf-file conf/flume-conf.properties --name a1 -Dflume.root.logger=INFO,console报错:org.apache.flume.conf.ConfigurationException: Channel c...
原创
发布博客 2019.03.18 ·
1882 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

五(1)、Linux遇到的问题

1、yum 安装yum install telnet报错no more mirrors to try尝试1:按照网上找的方法:yum clean allyum makecacheyum -y update但是在第二步的时候,就报另外一个错:Cannot find a valid baseurl for repo: base/7/x86_64又找到网上说的解决这个问题的方法:去掉(...
原创
发布博客 2019.03.15 ·
642 阅读 ·
0 点赞 ·
0 评论 ·
1 收藏

三(1)、用kafka遇到的问题

1、cdh里面加入kafka,创建topic:kafka-topics --zookeeper node01:2181 --create –replication-factor 1 --partitions 1 --topic from_flume01producer写入数据:kafka-console-producer --broker-list node01:9092 --topic fr...
原创
发布博客 2019.03.13 ·
4161 阅读 ·
5 点赞 ·
1 评论 ·
6 收藏

使用datax的时候,遇到的一些问题

1、之前是hadoop高可用,把高可用撤去之后,用hive创建表,报错FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. MetaException(message:java.lang.IllegalArgumentException: java.net.UnknownHostEx...
原创
发布博客 2018.11.12 ·
8112 阅读 ·
4 点赞 ·
2 评论 ·
12 收藏

查漏补缺(1)crontab

**1. crontab 配置**crontab 是 Unix 和 Linux 用于设置周期性被执行的指令。 通过 crontab 命令,可以在固定间隔时间执行指定的系统指令或 shell 脚本。时间间隔的单位可以是分钟、小时、日、月、周及以上的任意组合。crontab 安装:yum install crontabs服务操作说明:service crond start ## 启...
原创
发布博客 2018.10.07 ·
281 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏
加载更多