lyvaely-CSDN博客

原创 fiink连接kafka遇到timeOut问题

org.apache.kafka.common.errors.TimeoutException: Timeout of 60000ms expired before the position for partition aaa-0 could be determined原因1：分区与fink并行度不匹配，发现不是这个原因。2. fink版本与kafka版本原因使用的是1.13.0的fink与2.41的kafka 是能够匹配的也不是这个原因3. 终于发现kafka的config里的serv

2022-05-05 20:45:43 2133 2

原创 linux安装java后每次都得source /etc/profile 后才能执行java命令

现在在入门hadoop中，给虚拟机的linux系统安装jdk 和hadoop后，配置好环境变量，执行hadoop和java命令时候。java命令总是没有这个命令得执行source /etc/profile后才能生效解决方案一：linux每次进入都需要 source /etc/profile才能使用java命令，需要配置永久环境变量，修改etc目录下的bashrc文件，在最前面添加export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_161export PATH=PATH

2020-10-15 15:05:47 1851

原创 python中字符串二进制之间的转换

response响应获得了网页的内容之后，需要解决编码问题encode（）字符串转换为二进制默认的urf-8 要写就写gbkdecode（）二进制转换为字符串同上

2020-08-07 13:15:15 1463

原创 fiddler抓包工具的使用

1.tools==>options==>https选中 capture httpsdecrpyt https trafficingore xxx然后安装信任证书。配置完毕重新启动2.抓包<>： html内容{json}：json数据可能是个接口{css}， {js}：页面的css.js文件file==》capture去掉勾勾点击请求：右边选中 Inspectors右上：请求信息raw：请求头部的详细信息webforms：请求所带参数右

2020-08-07 11:56:37 160

原创 Scrapy常见命令

创建项目scrapy startproject project_name生成spider文件注意：爬虫名字不要和项目名字重复#scrapy genspider [爬虫名字] [目标网站域名scrapy genspider usnews xxxx.com运行名为usnews爬虫scrapy crawl usnews#将爬到的数据导出为json csvscrapy crawl usnews -o usnews.jsonscrapy crawl usnews -o usnews.csv

2020-08-05 21:40:43 142

原创 pandas的describe()的输出解释

初学pandas的时候，对数据的一些参数是记不太得的。所以就来记录下这些输出的意义。在吴恩达的机器学习作业中，几乎每个作业的步骤都是首先用pandas读取数据，然后使用describe()方法进行查看就会得到如下：那么我门来看看这个表达了什么：由标题我们只看exam1，exam2代表两个科目.来解释一下count：总共有100条记录相当于100个人参加这两次考试mean：就是除去缺考的(等于空值)之外的平均值std：就是成绩的方差min：就是成绩最差的人25%: 表示25%分位数就

2020-07-26 18:38:17 2833 2

转载 python安装scipy

1、由于国外网站太慢，所以这里使用的是阿里的镜像https://mirrors.aliyun.com/pypi/simple/2、去官网查看，官方给出的安装方法如下：【pip安装和apt的方式两种】python -m pip install --user numpy scipy matplotlib ipython jupyter pandas sympy nosesudo apt-get install python-numpy python-scipy python-matplotlib ipy

2020-07-16 21:01:22 197

learn_helloword的博客