编程技巧学习
darkeyers
这个作者很懒,什么都没留下…
展开
-
C# NewtonJson 使用技巧
Class序列化成Json我就不做介绍了,很简单一句话的事。主要介绍的是拿到任意一个Json字符串,怎么转换成C#的类。1 首先在JSON Edit Online 这个网站上JsonEditOnline 输入Json字符串,如果成功解析就可以得出对应的类的层次关系。 例如这样的类就可以定义成这样的形...原创 2018-07-17 11:36:02 · 14308 阅读 · 0 评论 -
Win10 虚拟机环境配置Kafka服务器出错对应解决方法
Error while fetching metadata with correlation id 4192 : {testXX=LEADER_NOT_AVAILABLE} kafka在虚拟机配置环境中经常会出现类似于这个问题 eg:9092端口,原因很简单:该端口在该服务器上不存在具体步骤如下:1 打开系统防火墙-高级设置2 在高级设置中选择入站规则 3 选择新建规则...原创 2018-09-25 15:02:26 · 492 阅读 · 0 评论 -
Win10 环境python-Kafka中文乱码问题解决
Kafka为了保证传输效率,消息传输使用二进制传输,而支持中文的使用最广泛的编码方式为UTF-8。因此解决这个问题的思路如下:在productor中使用UTF-8的方式编码,在consumer中使用UTF-8解码。示例如下:1 productor:在代码最前端加入编码声明# -*- coding: utf-8 -*-PS:在这里要对kafka的异步机制提出一点异议:在同一个大...原创 2018-09-27 15:47:13 · 5475 阅读 · 0 评论 -
Win10 环境搭建Spark streaming 将Kafka数据作为输入源
【Hadoop】首先搭建Hadoop平台,这里我选择的版本是2.6.4,具体部署步骤我参考了这一篇博客。但是其中的配置文件有所更改:G:\Spark\hadoop\hadoop-2.6.4\hadoop-2.6.4\etc\hadoop\core-site.xml<?xml version="1.0" encoding="UTF-8"?><?xml-style...原创 2018-11-08 10:13:35 · 566 阅读 · 0 评论 -
C# Kafka获取Topic中最新消息的办法
在处理kafka消息的时候会遇到这种情况,想要仅获取最新的消息,旧消息不获取。苦于原API中无这种需求的示例,现就该需求参考GitHub以下改动。1 NuGet管理Confluent.Kafka版本的问题,将版本更新至V1.0.0或以上。2 编写函数如下:该函数用来接收最新消息,并且参数中的事件对拿到的最新消息进行处理。/// <summary>/// 指定的组别的消费...原创 2019-05-14 22:16:05 · 3032 阅读 · 0 评论 -
win10 使用Pyinstaller 打包TensorFlow问题以及解决方案
所有方法均经过实际测试,均解决问题。对应的环境和版本如下:OS环境:win10python:3.5.4tensorflow:1.8.0-gpucuda:9.0建议在使用Pyinstaller 的时候使用 :pyinstaller -Dmyfile.py这样的好处就是在真的出错的时候还有挽回的空间,比如添加或者覆盖DLL等,如果单独一个EXE没法再处理。1 “imp...原创 2019-10-11 09:40:18 · 3196 阅读 · 0 评论