datastream, C++数据序列化与反序列化容器

其实本来不想自己写这样一个类的,但找来找去都没有找到符合生活习惯的,于是在经过反复的推敲设计后,呜,我终于承认自己功力不够---无法将内存管理与迭代器完美地结合在一起,只好只好先用std::vector了,于是便有了下面的代码。到目前为止还不能号称功能完善,但,但应该基本可用了,堪堪记在这里,也许能给以后的自己一些帮助,或可得到高手指点一二:
  类文件被保存为datastream.hpp
#pragma once
/* *******************************************************************
purpose:    used for data serialization and deserialization
********************************************************************
*/
#include <vector>
#include <cassert>
class datastream: public std::vector< char>
{
public:
    datastream&  operator<<( bool data){ return push(data);}
    datastream&  operator<<( char data){ return push(data);}
    datastream&  operator<<(wchar_t data){ return push(data);}
    datastream&  operator<<( short data){ return push(data);}
    datastream&  operator<<( int data){ return push(data);}
    datastream&  operator<<( long data){ return push(data);}
    datastream&  operator<<( float data){ return push(data);}
    datastream&  operator<<( double data){ return push(data);}
    datastream&  operator<<(unsigned  char data){ return push(data);}    
    datastream&  operator<<(unsigned  short data){ return push(data);}    
    datastream&  operator<<(unsigned  int data){ return push(data);}
    datastream&  operator<<(unsigned  long data){ return push(data);}

    datastream&  operator>>( bool& data){ return pop(data);}
    datastream&  operator>>( char& data){ return pop(data);}
    datastream&  operator>>(wchar_t& data){ return pop(data);}
    datastream&  operator>>( short& data){ return pop(data);}
    datastream&  operator>>( int& data){ return pop(data);}
    datastream&  operator>>( long& data){ return pop(data);}
    datastream&  operator>>( float& data){ return pop(data);}
    datastream&  operator>>( double& data){ return pop(data);}
    datastream&  operator>>(unsigned  char& data){ return pop(data);}    
    datastream&  operator>>(unsigned  short& data){ return pop(data);}    
    datastream&  operator>>(unsigned  int& data){ return pop(data);}
    datastream&  operator>>(unsigned  long& data){ return pop(data);}

    datastream& test( bool& data){memcpy(&data, & operator[](0),  sizeof(data)); return * this;}
    datastream& test( char& data){memcpy(&data, & operator[](0),  sizeof(data)); return * this;}
    datastream& test( short& data){memcpy(&data, & operator[](0),  sizeof(data)); return * this;}
    datastream& test( int& data){memcpy(&data, & operator[](0),  sizeof(data)); return * this;}
    datastream& test( long& data){memcpy(&data, & operator[](0),  sizeof(data)); return * this;}
    datastream& test( float& data){memcpy(&data, & operator[](0),  sizeof(data)); return * this;}
    datastream& test( double& data){memcpy(&data, & operator[](0),  sizeof(data)); return * this;}
    datastream& test(unsigned  char& data){memcpy(&data, & operator[](0),  sizeof(data)); return * this;}
    datastream& test(unsigned  short& data){memcpy(&data, & operator[](0),  sizeof(data)); return * this;}
    datastream& test(unsigned  int& data){memcpy(&data, & operator[](0),  sizeof(data)); return * this;}
    datastream& test(unsigned  long& data){memcpy(&data, & operator[](0),  sizeof(data)); return * this;}    

     // std::string处理
    datastream&  operator<<( const  char* data){ return push(strlen(data), ( void*)data);}
    datastream&  operator<<( const wchar_t* data){ return push(wcslen(data)<<1, ( void*)data);}
    datastream&  operator<<( const std:: string& data){ return push(data.size(), ( void*)data.c_str());}    
    datastream&  operator<<( const std::wstring& data){ return push(data.size()<<1, ( void*)data.c_str());}
    datastream&  operator>>(std:: string& data)
    {
        size_t nSize;
        pop(nSize);
        std::vector< char>::iterator first=begin(), last=first+nSize;
        data.assign(first, last);
        erase(first, last);
         return * this;
    }
    datastream&  operator>>(std::wstring& data)
    {
        size_t nSize;
        pop(nSize);
        wchar_t* a=(wchar_t*)& operator[](0), *b=a+(nSize>>1);
        data.assign(a, b);
        std::vector< char>::iterator first=begin();    
        erase(first, first+nSize);
         return * this;
    }
    datastream& test(std:: string& data)
    {
        size_t nSize;
        test(nSize);
        std::vector< char>::iterator first=begin()+ sizeof(nSize);
        data.assign(first, first+nSize);
         return * this;
    }
    datastream& test(std::wstring& data)
    {
        size_t nSize;
        test(nSize);
        wchar_t* first=(wchar_t*)& operator[]( sizeof(nSize));
        data.assign(first, first+(nSize>>1));
         return * this;
    }
     // std::vector处理
    template<typename C>
    datastream&  operator<<( const std::vector<C>& data)
    {
        size_t nSize=data.size();
        push(nSize);
         for ( int i=0; i<nSize; ++i)
        {
             operator<<(data[i]);
        }
         return * this;
    }
    template<typename C>
    datastream&  operator>>(std::vector<C>& data)
    {
        size_t nSize;
        pop(nSize);
        C tmp;
         for ( int i=0; i<nSize; ++i)
        {
             operator>>(tmp);
            data.push_back(tmp);
        }            
         return * this;
    }
private:
     char* inc_size(size_t delta_size)
    {
        size_t last_size=size();
        resize(last_size+delta_size);
         return & operator[](last_size);
    }
    template<typename C>
    datastream& push(C data)
    {
        memcpy(inc_size( sizeof(data)), &data,  sizeof(data));
         return * this;
    }
    datastream& push(size_t size,  void* data)
    {
        push(size);
        memcpy(inc_size(size), data, size);
         return * this;
    }
    template<typename C>
    datastream& pop(C& data)
    {
        memcpy(&data, & operator[](0),  sizeof(data));
        erase(begin(), begin()+ sizeof(data));
         return * this;
    }
};
  测试代码:
#include <iostream>
#include <fstream>
#include <iterator>
#include "datastream.hpp"

template<typename T>
void print_vector( const std::vector<T>& v)
{
    std::cout<<"---------------------------Print Vector---------------------------"<<std::endl;
    std::copy(v.begin(), v.end(), std::ostream_iterator<T>(std::cout, "\n"));
    std::cout<<"-------------------------Print Vector End-------------------------"<<std::endl;
}
int main( int argc,  char* argv[])
{
    std:: string strPath="c:\\abc.txt";

    std::vector<std:: string> v;
    v.push_back("hello world");
    v.push_back("向量测试");
    
    datastream ds;
    ds<<318<<3.14159<<"hello world"<<std:: string("中文测试")<<v;

    std::ofstream outfile(strPath.c_str());
     if (outfile)
    {
        std::copy(ds.begin(), ds.end(), std::ostreambuf_iterator< char>(outfile));
        outfile.close();
        std::cout<<"write to file successfully!"<<std::endl;
    }
    
    ds.clear();                             // 清空数据(但不释放ds的内存)
    std::ifstream infile(strPath.c_str());
     if (infile)
    {
        ds.assign(std::istreambuf_iterator< char>(infile), std::istreambuf_iterator< char>());     // 别忘了std::vector有个assign函数
         int a;
         double b;
        std:: string c, d;
        std::vector<std:: string> v2;
        ds>>a>>b>>c>>d>>v2;
        datastream(ds).swap(ds);         // 释放datastream内存
        std::cout<<"a="<<a<<", b="<<b<<", c="<<c<<", d="<<d<<std::endl;
        print_vector(v2);
    }
    system("pause");
     return 0;
}
  输出:
write to file successfully!
a=318, b=3.14159, c=hello world, d=中文测试
---------------------------Print Vector---------------------------
hello world
向量测试
-------------------------Print Vector End-------------------------
请按任意键继续. . .
要将Flink从Kafka消费的数据反序列化并存入Hive,可以按照以下步骤进行操作: 1. 配置Kafka消费者和Hive连接 首先需要配置Flink的Kafka消费者和Hive连接,可以使用Flink提供的Kafka连接器和Hive连接器来实现。具体的配置可以参考Flink官方文档进行设置。 2. 设计反序列化类 根据你从Kafka消费的数据格式,需要设计一个反序列化类来将数据转换为Flink中的对象。例如,如果你从Kafka消费的是JSON格式的数据,可以使用Flink提供的JSON反序列化类进行转换。 3. 定义Hive表结构 在Hive中创建一个表来存储反序列化后的数据。你需要定义表的结构,包括列名、列类型和分区等信息。 4. 编写Flink程序 编写一个Flink程序来消费Kafka中的数据,并将数据反序列化后存入Hive表中。具体的实现可以参考以下代码示例: ```java DataStream<String> dataStream = env.addSource(new FlinkKafkaConsumer<String>( "topic", new SimpleStringSchema(), properties)); DataStream<MyObject> myObjects = dataStream.map(new MapFunction<String, MyObject>() { @Override public MyObject map(String value) throws Exception { ObjectMapper mapper = new ObjectMapper(); return mapper.readValue(value, MyObject.class); } }); HiveCatalog hiveCatalog = new HiveCatalog("myHiveCatalog", "default", "/path/to/hive/conf"); TableSchema schema = new TableSchema( new String[] {"id", "name", "age"}, new TypeInformation<?>[] {Types.STRING, Types.STRING, Types.INT}); HiveTableSink hiveTableSink = new HiveTableSink( "myDatabase.myTable", schema, hiveCatalog, new Configuration(), "myPartition"); myObjects.addSink(hiveTableSink); ``` 其中,`MyObject`是你从Kafka消费的数据反序列化后的对象,`hiveCatalog`是Hive连接器的配置信息,`schema`是Hive表的列信息,`hiveTableSink`是Hive表的输出目的地。 5. 运行Flink程序 配置好Flink程序后,就可以运行程序了。程序会从Kafka消费数据,将数据反序列化后存入Hive表中。 以上就是将Flink从Kafka消费数据反序列化存入Hive的步骤和示例代码。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值