- 博客(16)
- 收藏
- 关注
RSS订阅原创 SD---comfyui---问题集锦1
1、插件下载到了Program Files\comfyui\ComfyUI_windows_portable\ComfyUI\custom_nodes 目录下，但是打开comfyui的时候，说插件加载失败。看看插件目录下的requirments.txt里面的python依赖是否下载了。
2024-04-02 19:16:28
241
原创 十五（1）、streamsets
1、从mysql提取数据到hbase，报错：com.streamsets.pipeline.api.base.OnRecordErrorException: HBASE_27 - Missing row key field '/rk0001' in record at com.streamsets.pipeline.hbase.api.impl.AbstractHBaseProducer.ge...
2020-04-20 15:33:17
549
1
原创 十三（1）、sqoop遇到的问题
1、从mysql抽数到hive，hive表为parquet存储格式，导入语句为：sqoop import –connect jdbc:mysql://${MYSQL_HOST}
2020-02-14 16:07:00
802
原创 七（1）、HBase遇到的问题
1、启动cdh的时候，HBase master启动不了，日志报错：Failed get of master address: java.io.IOException: Can't get master address后面启动了httpd就可以正常启动HBase master了...
2020-01-08 15:05:23
805
原创 六（2）、sparkstreaming代码出现的一些情况分析
作业流程：mysql binlog——(steamsets)——>kafka——(sparkstreaming、sparksql)——>redis除了把结果数据放redis以外，还有把验证数据放redis如果kafka中堆积很多数据，sparkstreaming一批次消费，导致验证redis里面的数据不准确，导致结果数据错误运行sparkstreaming的机子获取当前时间A...
2019-08-17 16:57:11
197
原创 九（1）、MongoDB遇到的问题
1、在本地用python连接MongoDB的使用遇到的问题mongodb装在linux虚拟机中python代码如下：import pymongomyclient = pymongo.MongoClient(“mongodb://192.168.25.121:27017/”)mydb = myclient[“my_db01”]mycol = mydb[“mycoll01”]x = m...
2019-06-18 21:02:19
170
原创 十一（1）、MySQL遇到的问题
1、从dump文件中导入表结构报错：ERROR 1840 (HY000) at line 24: @@GLOBAL.GTID_PURGED can only be set when @@GLOBAL.GTID_EXECUTED is empty.https://www.cnblogs.com/tonnytangy/p/7779164.html...
2019-05-18 13:45:06
355
原创 十二（1）、Python遇到的问题
1、写爬虫代码，报错：TypeError: cannot use a string pattern on a bytes-like object出错的主要原因是因为：TypeError: can’t use a string pattern on a bytes-like object.html用decode(‘utf-8’)进行解码，由bytes变成string。py3的urlope...
2019-05-10 19:29:52
224
原创 六（1）、spark遇到的问题
1、意外退出spark-shell，而不是quit，然后再输入spark-shell命令的时候，报错：19/04/11 13:42:32 WARN util.Utils: Service 'SparkUI' could not bind on port 4040. Attempting port 4041.jps查看，SparkSubmit在，查看4040端口也是被SparkSubmit占用...
2019-04-12 19:16:48
3925
原创 二（2）、hive报错记录
hue上hive执行一大段hql语句（hql语句大），报错：{ "traceback": [ [ "/data/cloudera/parcels/CDH-6.0.1-1.cdh6.0.1.p0.590678/lib/hue/build/env/lib/python2.7/site-packages/Django-1.11-py2.7.egg/django/core/handlers/excep...
2019-04-12 19:16:02
439
原创 四（2）、flume遇到的问题
从mysql抽取数据到hdfsflume-ng agent --conf conf --conf-file conf/flume-conf04.properties --name a1 -Dflume.root.logger=INFO,consolea1.channels.ch1.type = memorya1.sources.sql-source.channels = ch1a1.cha...
2019-03-20 16:32:37
2188
1
原创 四（1）、flume遇到的问题
1、在cdh启动了flume的情况下，在linux运行了命令：flume-ng agent --conf conf --conf-file conf/flume-conf.properties --name a1 -Dflume.root.logger=INFO,console报错：org.apache.flume.conf.ConfigurationException: Channel c...
2019-03-18 19:31:27
1741
原创 五（1）、Linux遇到的问题
1、yum 安装yum install telnet报错no more mirrors to try尝试1：按照网上找的方法：yum clean allyum makecacheyum -y update但是在第二步的时候，就报另外一个错：Cannot find a valid baseurl for repo: base/7/x86_64又找到网上说的解决这个问题的方法：去掉（...
2019-03-15 15:01:25
539
原创 三（1）、用kafka遇到的问题
1、cdh里面加入kafka，创建topic：kafka-topics --zookeeper node01:2181 --create –replication-factor 1 --partitions 1 --topic from_flume01producer写入数据：kafka-console-producer --broker-list node01:9092 --topic fr...
2019-03-13 17:41:28
4004
1
原创 使用datax的时候，遇到的一些问题
1、之前是hadoop高可用，把高可用撤去之后，用hive创建表，报错FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. MetaException(message:java.lang.IllegalArgumentException: java.net.UnknownHostEx...
2018-11-12 23:10:18
7871
2
原创 查漏补缺（1）crontab
**1. crontab 配置**crontab 是 Unix 和 Linux 用于设置周期性被执行的指令。 通过 crontab 命令，可以在固定间隔时间执行指定的系统指令或 shell 脚本。时间间隔的单位可以是分钟、小时、日、月、周及以上的任意组合。crontab 安装：yum install crontabs服务操作说明：service crond start ## 启...
2018-10-07 21:50:08
226
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人