Lyncai的专栏

原创 g++ 编译错误：使用protobuf undefined 错误

用protobuf生成.pb.cc 和 .pb.h文件后，在程序文件暗中引用.pb.h文件，运行++时总会出现undefined 错误 如下lc@lc-host:~/PycharmProjects/cplus/proto_bazel_test$ g++ main.cpp msg.pb.cc -o main.out -lprotobuf/usr/bin/ld: /tmp/ccxuZhla.o: in function `descriptor_table_msg_2eproto_metadata

原创 ASR常用模型

原创 python 异步 asyncio

import asyncioasync def fun1(): print(1) await asyncio.sleep(2) print(2)async def fun2(): print(3) await asyncio.sleep(2) print(4)task = [ asyncio.ensure_future(fun1()), asyncio.ensure_future(fun2())]loop = asynci.

原创 protobuf 编译成C++

使用bazel编译C++的一个优点是：可以直接引用proto文件， 直接修改proto文件后直接使用bazel编译。Bazel编译需要书写WORKSPACE和BUILD文件。若不熟悉bazel编译，则可分成跳过bazel（1）将proto文件编译成.pb.cc 和 .pb.h文件（2）在自己编写的C++代码中引用 .pb.h文件（3）编译自己的代码 （这里注意：需要将.pb.cc 文件链接进来一块编译）下面简单例子：文件目录结构：msg.proto内容如下：lc@...

原创 docker本地生成python Image

目录结构：——docker_test -- code （文件夹，存放代码） -- Dockerfile （名字固定，文件， 文件模板） -- requirements.txt （用pipreqs --encoding=utf8 --force 生成）其中Dockerfile内容如下#基于的基础镜像FROM python:3.9.5#代码添加到code文件夹ADD . /code# 设置code文件夹是工作目录WORKDIR /code# 安装支持RUN p...

原创 C++ fork

好有意思的一段代码 共享#include "stdio.h"#include "sys/types.h"#include "unistd.h" int main(){ int i = 0; printf("before fork\n"); pid_t pid = fork(); printf("after fork\n"); if (pid < 0){ printf("error\n"); return 1;

原创 BP神经网络（python）

import mathimport randomdef rand(a, b): return (b - a) * random.random() + adef make_matrix(m, n, fill=0.0): # 创造一个指定大小的矩阵 mat = [] for i in range(m): mat.append([fill] * n) return matdef sigmoid(x): return 1.0 / (1.0 + .

原创 python 装饰器

https://www.cnblogs.com/cicaday/p/python-decorator.html讲的很详细

原创 python 多线程 线程池

测试多线程的时候 出现了这种情况 怎么解import threadpoolimport timedef sayHello(name): print("hello", name) time.sleep(2)start_time = time.time()pool = threadpool.ThreadPool(10)requests=threadpool.makeRequests(sayHello, [a for a in 'AHHHHHHHHHHHHHHAAAAAAAAA

转载 图片变素描 python

from PIL import Image #图像处理模块import numpy as npa = np.asarray(Image.open("/home/lc/文档/from_thinkpad/windows/source_code/media/2.jpg").convert('L')).astype('float')#将图像以灰度图的方式打开并将数据转为float存入np中depth = 10. # (0-100)grad = np.g.

原创 Python文件读写速度对比

在思考一个问题：怎么操作文件比较快？通常的瓶颈都是I/O产生的，因此作了如下比较：对同一个文件写10000次 与写10000个文件时间对比 得到如下结果：

原创 python 使用seek 文件读写

#!/usr/bin/python# -*- coding: utf-8 -*-file_name='test_file.txt'curs = []with open(file_name,'wb') as fw: for i in range(10): index_str = 'hello' + str(i*223) fw.write(index_str.encode('utf-8')) end = fw.tell() cu.

原创 grpc 图片序列化与反序列化

import event_pb2# test = event_pb2.MediaTXT()# test.text = "Hello"# text_serialize = test.SerializeToString()# print(text_serialize)## test_msg = event_pb2.MediaTXT()# test_msg.ParseFromString(text_serialize)# print(test_msg)import osvideo_d..

原创 图片格式比较

比较文件存为二进制流的大小与在opencv下的ndarray格式 发现 二进制的大小小很多serverfrom concurrent import futuresimport loggingimport grpcimport media_img_pb2import media_img_pb2_grpcrec_file = '20210611.rec'def save2record(img, encoder) : #'media_img_pb2.MediaImage''' .

转载 二进制流转图片

1. 从# -- coding:utf-8 import cv2import numpy as npfrom matplotlib import pyplot as pltfrom PIL import Imageimg_url = r'/home/lc/文档/from_thinkpad/windows/source_code/media/3.jpeg'with open(img_url, 'rb') as f: a=f.read() # 二进制数据流转np.ndarra

原创 Ubuntu安装cuda与nvidia踩的坑

安装显卡驱动nvidiahttps://www.nvidia.cn/Download/index.aspx?lang=cn首先查看显卡型号：根据这些信息获取安装程序：https://www.nvidia.cn/Download/index.aspx?lang=cn根据自己的系统选择响应的

转载 python 将视频转换成音频

https://www.cnblogs.com/taoquns/p/11936800.html

原创 Python 获取自定义的列名

自己在db_model中定义的一些类（Table），想只获取自定义的列名称，试了dir 和 __dict__的方法。dir -- 会列出所有的属性和方法，利用filter试着去掉下划线hu

转载 linux下详解shell中＞/dev/null 2＞&1

这篇文章讲的很好https://www.cnblogs.com/ultranms/p/9353157.html前言相信大家经常能在shell脚本中发现>/dev/null 2>&1这样的语句。以前的我并没有去深入地理解这段命令的作用，照搬照用，直到上周我将这段命令不小心写成了2>&1 >/dev/null，出了一点小问题之后，我才开始去了解这段命令背后的“玄机”。shell重定向介绍就像我们平时写的程序一样，一段程序会处理外部的输入，然后将运算结果输.

转载 ELK日志分析方案

从日志文件读取到redis#从日志文件读取数据#file{}#type 日志类型#path 日志位置# 可以直接读取文件（a.log）# 可以所有后缀为log的日志（*.log）# 读取文件夹下所有文件（路径）#start_position 文件读取开始位置 （beginning）#sincedb_path 从什么位置读取（设置为/dev/null自动从开始位置读取）input { file { ...

原创 python beautifulsoap select

import urllib.requestimport requestsfrom bs4 import BeautifulSoup#from urllib.parse import quote"""爬取静态网页 https://www.ccf.org.cn/Academic_Evaluation/AI/比较request 和 requests不同使用以及中文字符乱码的处理"""def fetch_data_byrequest(url): #req = requests.get...

原创 Python request与requests比较

爬取静态网页的数据相对比较简单，以往都是照着帖子粘一下代码能跑起来就OK了后来发现 在import时候 有的用的是 request 有的是requests，虽然只是差了一个s比较了一下这两个包（1）request是python 自带的，使用 import urllib.request;而 requests需要pip install（2）request 采用的是urlopen 然后read后进行decode获得网页内容，若需要加header之类的，需要增加request中的Request类来定

转载 基于Flume的美团日志收集系统(二)改进和优化

转自：https://www.aboutyun.com//forum.php/?mod=viewthread&tid=8318&extra=page%3D1&page=1&问题导读：1.Flume的存在些什么问题？2.基于开源的Flume美团增加了哪些功能？3.Flume系统如何调优？在《基于Flume的美团日志收集系统(一)架构和设计》中，我们详述了基于Flume的美团日志收集系统的架构设计，以及为什么做这样的设计。在本节中，我们将会讲述在实际部署.

转载 基于Flume的美团日志收集系统(一)架构和设计

转自：https://www.aboutyun.com//forum.php/?mod=viewthread&tid=8317&extra=page%3D1&page=1&问题导读：1.Flume-NG与Scribe对比，Flume-NG的优势在什么地方？2.架构设计考虑需要考虑什么问题？3.Agent死机该如何解决？4.Collector死机是否会有影响？5.Flume-NG可靠性(reliability)方面做了哪些措施？美团的日志收集系统负责美团的所有业务日志的

原创 Python 安装很详细的一个帖子

https://zhuanlan.zhihu.com/p/111168324?from_voters_page=true

转载 大数据Flume系列之Flume集群搭建

1. 概念集群的意思是多台机器，最少有2台机器，一台机器从数据源中获取数据，将数据传送到另一台机器上，然后输出。接下来就要实现Flume集群搭建。集群如下图所示。2. Flume搭建2.1 部署准备部署主机 192.168.9.139 host14 192.168.9.128 host15 host14主机下载flume软件包 # cd /opt/tools # wget http://mirrors.tuna.tsinghu..

转载 Flume架构、Flume工作原理、Flume应用场景

转自：https://blog.csdn.net/zjh_746140129/article/details/83832418一、Flume概述Flume是由 Cloudera 提供的一个分布式、高可靠、高可用的服务，用于分布式的海量日志的高效收集、聚合、移动系统。简单来说，Flume 就是一个针对日志数据进行采集和汇总的一个工具（把日志从A地方移动到B地方）Flume 官网：http://flume.apache.org/Flume 官方文档：http://flume.apache.or..

原创 数组传值、传指针、传引用

数组传值、传指针、传引用的使用#include <iostream>#include <vector>using namespace std;int func1(int a[],int size){ int sum=0; for (int i=0;i<size;i++) sum+=a[i]; return sum;};int func2(int *a,int size){ int sum=0; for(int i=0;i<si.

转载 静态链接与动态链接的区别

https://blog.csdn.net/qq_26079093/article/details/1011751461.静态链接与动链接的区别在C语言中，我们知道要生成可执行文件，必须经历两个阶段，即编译、链接。在编译过程中，只有编译，不会涉及到链接。在链接过程中，静态链接和动态链接就出现了区别。静态链接的过程就已经把要链接的内容已经链接到了生成的可执行文件中，就算你在去把静态库删除也不会影响可执行程序的执行；而动态链接这个过程却没有把...

转载 C/C++程序编译过程详解

C语言的编译链接过程要把我们编写的一个c程序（源代码）转换成可以在硬件上运行的程序（可执行代码），需要进行编译和链接。编译就是把文本形式源代码翻译为机器语言形式的目标文件的过程。链接是把目标文件、操作系统的启动代码和用到的库文件进行组织，形成最终生成可执行代码的过程。过程图解如下：从图上可以看到，整个代码的编译过程分为编译和链接两个过程，编译对应图中的大括号括起的部分，其余则为链接过程。1. 编译过程编译过程又可以分成两个阶段：编译和汇编。编译编译是读取源程序（字符流），对之进行词法

转载 C++防止头文件被重复引入的3种方法（详解版）

转自http://c.biancheng.net/view/7636.html《防止C语言头文件被重复包含》一节中，详细介绍了 C 语言中如何使用宏定义（#ifndef / #define / #endif）来有效避免头文件被重复 #include，此方式在 C++ 多文件编程中也很常用。举个例子，如下是一个 C++ 项目，其内部含有 school.h 和 student.h 这 2 个头文件以及 main.cpp 源文件，其各自包含的代码为：//student.hclass Student

转载 2021-03-09

https://blog.csdn.net/absolute_chen/article/details/93380566设计模式（Design pattern），提供了在软件开发过程中面临的一些问题的最佳解决方案，是Java开发者必修的一门课程。主要分创建型模式、结构型模式和行为型模式。其中接下来我们要写的是单例模式，属于创建型模式。单例模式，顾名思义就是只有一个实例，并且她自己负责创建自己的对象，这个类提供了一种访问其唯一的对象的方式，可以直接访问，不需要实例化该类的对象。下面我们来看下有哪几种实

原创 2021-03-08

单链表翻转# 单链表翻转class Node(): def __init__(self,value,next_=None): self.value=value self.next=next_def Reverse(head): if head==None or head.next==None: return head p1=head.next node=head head.next=None wh.

原创 2021-03-08

对于旋转数组，先找到最大值点def find_max_index(A,i,j): if i>=j: return -1 mid_index = round((i+j)/2) if A[mid_index]>A[i]: if mid_index+1<=j and A[mid_index]>A[mid_index+1]: return mid_index return find_max_

转载 [转载]C++ 编译器

在翻C++文档的时候发现的，网址http://cpp.sh/

原创 快排和堆排序-python

平时拿着上班当幌子 混混沌沌混日子 出了紧急状况才临时抱佛脚有句话说的好 机会永远是留给那些时刻准备好的人感叹时光飞逝 感叹岁月催人 没办法 硬着头皮上吧 与70多岁的两位老人比起来 我还属于青少年准备吧 少年几年前 这些基本算法拿笔就能写的 现在半天蹦不出几个字母 补基本功吧记录今天的两个算法 只要理解了思想 实现起来 不算太难 --def Quick_sort(A,start, end): if start>=end: ret...

转载 两个爬虫用到的 Chrome 插件

（1）ChroPath（2）WebScraperhttps://mp.weixin.qq.com/s?__biz=MzU2ODYzNTkwMg==&mid=2247484859&idx=1&sn=b5f91ab1dc027d06e34dea1b37091b34&chksm=fc8bbd2acbfc343ce3123fb3e3aec1fa1e34c96b15e998a34e01a75f4ca90b0089e1692f5a31&scene=21#wechat_re

原创 缓存与内存

以前说道缓存都是以为是磁盘缓存，看到了redis后才知道 原来最近说的缓存是比内存还要快的，在CPU中。提及缓存，有必要了解一下RAM和ROMRAM -- 停电后数据会消失；ROM -- 停电后数据不会消失RAM又有2种：静态RAM - SRAM 和 动态RAM - DRAM ， 静态RAM 就是常说的一级缓存；动态RAM就是内存。https://zhidao.baidu.com/question/2199899.html?qbl=relate_question_2&am...

转载 一个美式英语发音的app开源

语音识别与对比软件在当前市场已经存在，而且大部分是收费的，所以想着在当前已有的技术上看看有没有新的可以突破的点，写一个自己玩玩。先收集一下当前已有的资料学习一下。https://blog.csdn.net/weixin_34345753/article/details/94744428来自飘飘白云分享，转自http://blog.csdn.net/kesalin/article/details/6665847源码开源放在 Github 上：https://github.com/ke.

转载 python 读取指定目录下的所有文件包括子目录下的

import osdef file_name(file_dir): for root, dirs, files in os.walk(file_dir): # print('root_dir:', root) # print('sub_dirs:', dirs) print('files:', files) file_name('C:\\work\\project\TEST\\2020_NEW_PLAN\\')https://www.cnb.